Уклоните дупликате линија из датотеке

Правим речник најчешће коришћених лозинки, популарних или најчешће коришћених од корисника (... Не питајте зашто ... ХАХАХА), за ово преузимам текст из других речника итд., али, налазим се у ситуацији да постоји много дуплираних лозинки и морам да елиминишем дупликате редова.

Другим речима, на пример ... имамо следећу датотеку: пасс.ткт

А његов садржај је:

асдасд
Лола
љубав
асдасд
прозори
Администратор
linux
асдасд
љубав

 Као што видимо, поновили смо «љубав"И"асдасд«, Последња 3 пута. Како уклонити дупликате линија?

Помоћу ове команде то је једноставно учинити:

cat pass.txt | sort | uniq > pass-listos.txt

Ово ће генерисати датотеку која се зове пасс-реади.ткт који ће садржати:

Администратор
асдасд
linux
Лола
љубав
прозори

Наредба је ВРЛО једноставна ...

  1. цат пасс.ткт - »Наведите садржај датотеке.
  2. врста - »Сортирај садржај по абецеди.
  3. уник - »Уклоните дупликате линија.
  4. > пасс-реади.ткт - »Резултат претходних наредби, ставите га у датотеку пасс-реади.ткт (која ће је, како не постоји, створити)

То је тако једноставно ... Управо сам открио ту команду врста да, врло је добро ... али, заједно са уник, они су драгуљ уметности 😀

Надам се да сте били од помоћи.

поздрави

тапет: Ако желите да преузмете позадину «Волим #! / Бин / басх"Овде је линк:

Довнлоад Валлпапер

27 коментара, остави свој

Оставите свој коментар

Ваша емаил адреса неће бити објављена. Обавезна поља су означена са *

*

*

  1. За податке одговоран: Мигуел Ангел Гатон
  2. Сврха података: Контрола нежељене поште, управљање коментарима.
  3. Легитимација: Ваш пристанак
  4. Комуникација података: Подаци се неће преносити трећим лицима, осим по законској обавези.
  5. Похрана података: База података коју хостује Оццентус Нетворкс (ЕУ)
  6. Права: У било ком тренутку можете ограничити, опоравити и избрисати своје податке.

  1.   Карлос дијо

    Такође можете користити сорт -у.

    Честитам на блогу, свиђа ми се!

    1.    КЗКГ ^ Гаара дијо

      Како да не.
      Ништа, пуно вам хвала на коментару 😀

      Добродошли 😉
      поздрави

  2.   Диего дијо

    Проблем с тим је што мења редослед речи, делује ... али на крају се резултат много разликује од оригинала по редоследу (што је можда у неком случају и битно)

    1.    КЗКГ ^ Гаара дијо

      Да, заиста, ово уређује речи по абецеди, па ако је садржај потребан БЕЗ варијација, онда ово решење није идеално.

    2.    Карлос дијо

      Не зајебавајте се, шта ако вам падне на памет да не дате команду за сортирање? молим те размисли мало више и не дај да се све прожваче.

      цат пасс.ткт | уник> пасс-реади.ткт

      1.    Елиубер дијо

        не иде, пробао сам

      2.    зрно дијо

        не ради јер „поновљени“ редови морају бити непрекидни

  3.   неименован дијо

    хвала

    прилично је корисно

  4.   Гискард дијо

    Врло добар! Једноставно и јасно решење. Свиђају ми се такве ствари 🙂
    Морам да признам да бих нешто урадио у Питхону, али ово решење је у реду.

    1.    КЗКГ ^ Гаара дијо

      хвала ^ - ^

  5.   тино дијо

    Здраво! врло добар!
    Имам упит, молим вас
    то би ми одговарало за следећи пример:
    АБЦД 1111
    ДЕФГ 2222 45455
    АБЦД 1111
    ДЕФГ 2222

    Редови су исти, али имају размаке и још неколико знакова ... да ли се ово проверава за исту реч? или линијом? Објаснићу?
    од сада вам пуно хвала.
    Загрљај

    1.    КЗКГ ^ Гаара дијо

      Здраво, како иде
      Као што сам видео, ово упоређује редове, а не колоне, па би у примеру који ми дате ово уклонило или 1. или 3., 2. и 4. ред иако су готово идентични, они нису 100% идентични јер имају колону разлике. 😉

      Хвала на коментару ^ - ^

      1.    ТИНО дијо

        Захваљујући теби!! пре него што је сату требало да Орацле уклони дупликате ... сада је потребно 30 секунди за сортирање мачака !!

  6.   МегаБеддер дијо

    Потребан ми је у ПХП: С.

    1.    КЗКГ ^ Гаара дијо

      Уфф ... Ја сам ПХП, врло сам, врло низак, нисам баш програмер 🙁

      Жао ми је

    2.    бруноцасцио дијо

      За пхп постоји арраи_уникуе (...) у званичној ПХП документацији наћи ћете многе важне и ефикасне функције.

      Што се тиче сортирања, осим ако вам није потребно, то није потребно ... Време извршења и меморија се троше. (за оно што је урађено у посту)

      Поздрав!

  7.   штребер дијо

    Вов !! речник за употребу као груба сила !! КСД

  8.   Густаво дијо

    Врло добра комбинација сорт са уник! Много ми је помогло да уклоним дупликате линија.

    хвала

  9.   Густаво дијо

    Царлос-ов коментар, упркос својој ароганцији, није ваљан. Каже да се користи:

    цат пасс.ткт | уник> пасс-реади.ткт

    међутим предуслов уник-а је да је датотека наручена. Требало је мало више размислити о томе или се распитати раније.

  10.   Елиубер дијо

    врло добро, уштедели сте ми пуно времена док сам водио мој басх

  11.   Кременци дијо

    авк '! арраи_темп [$ 0] ++' пасс.ткт> пасс-реади.ткт
    овим се линије уклањају без потребе за наручивањем.

  12.   миниминиио дијо

    Пуно вам хвала на доприносу!

    Иако би било кул да то можете учинити јединственим без промене редоследа, али хеј, лака и корисна команда!

  13.   Фелипе Гутиеррез дијо

    Хвала вам, пуно ми је помогло 😉

  14.   ернесто дијо

    имам ово
    Ц 000006158880201502051056088364 Ц00-06158880
    Ц 000007601673201503051056088364 Ц00-07601673
    Ц 000008659304201504051056088364 Ц00-08659304
    Т 0809074070562015120818144287185РЕАНО РУБИНОС ЕМИЛИА ДОРИС
    Т 0809092979972016010818144287185РЕАНО РУБИНОС ЕМИЛИА ДОРИС
    Ц 000005398451201501231044214375 Ц00-05398451
    Ц 000007674996201503051000000286 Ц00-07674996
    Ц 000008514288201504051000000463 Ц00-08514288
    Ц 000011613498201506051056088070 Ц00-11613498

    Како да постигнем да у датотеци обојим само дупликате по претплатнику, а оне који нису дупликати оставим у другој?

    претплатник је на позицији 23 (10 позиција)

  15.   Фернандо дијо

    сорт -у -к 1,1 Филе.ткт> ресулт.ткт

    Ово сортира датотеку по првом пољу

  16.   Ја сам диего дијо

    2020. и даље служим, пуно вам хвала!

  17.   Сарах дијо

    Да ли желите да се повежете са рачунаром, да бисте видели текст датотеке у Линуку или Виндовс-у? Цунг нху труонг хоп цуа бан, кхи тои тао филе ту ђиен ви тои цхиа нои дунг ра нен Цо кха нхиеу филе ва цхац цхан цон нхиеу донг трунг лап гиуа Цац филе. Ви ду: Датотека 1 се налази у кооперацији 5 датотека, датотека 2 у конгресу 15 (кооперација 2 у току Датотека 1. Тои муон цо кет куа, Датотека 1 је додељена 5 дана, Датотека 2 је само бо 2 донг гионг датотека 1 .
    Нху бан биет цо нхиеу ли до цхунг та ко тхе гоп цац филе ткт ђо лаи вои нхау, ви нхунг тект филе ту ђиен рат у ла нхиеу кы, цханг хан нху Роцкиоу. То је најважније за најновије Виндовс оперативне системе, чак и за оне који раде у Виндовсима. Хи вонг нхан ђуоц пхан хои ту бан!