Iz datoteke odstranite podvojene vrstice

Ustvarjam slovar najpogosteje uporabljenih gesel, priljubljenih ali najpogosteje uporabljenih uporabnikov (... Ne sprašuj, zakaj ... HAHAHA), za to jemljem besedilo iz drugih slovarjev itd., vendar se znajdem v položaju, da obstaja veliko podvojenih gesel in moram podvojene vrstice odstraniti.

To je na primer ... imamo naslednjo datoteko: pass.txt

In njegova vsebina je:

asdas
lola
ljubezen
asdas
okna
admin
linux
asdas
ljubezen

 Kot vidimo, smo ponovili «ljubezen"Y"asdas«, Slednji 3-krat. Kako odstraniti podvojene vrstice?

To storite preprosto s tem ukazom:

cat pass.txt | sort | uniq > pass-listos.txt

To bo ustvarilo datoteko z imenom pass-ready.txt ki bo vseboval:

admin
asdas
linux
lola
ljubezen
okna

Kaj naredi ukaz ZELO preprosto ...

  1. mačka pass.txt - »Navedite vsebino datoteke.
  2. sortiranje - »Razvrsti vsebino po abecedi.
  3. edinstven - »Odstranite podvojene vrstice.
  4. > pass-ready.txt - »Rezultat prejšnjih ukazov vnesite v datoteko pass-ready.txt (ki ga bo, ker ne obstaja, ustvarilo)

Tako preprosto je ... Pravkar sem odkril, da je ukaz sortiranje ja, zelo dobro je ... toda skupaj z edinstven, so dragulj umetnosti 😀

Upam, da ste bili v pomoč.

pozdrav

Tapeta: Če želite prenesti ozadje «Obožujem #! / Bin / bash»Tu je povezava:

Prenesite ozadje

Pustite svoj komentar

Vaš e-naslov ne bo objavljen. Obvezna polja so označena z *

*

*

  1. Za podatke odgovoren: Miguel Ángel Gatón
  2. Namen podatkov: Nadzor neželene pošte, upravljanje komentarjev.
  3. Legitimacija: Vaše soglasje
  4. Sporočanje podatkov: Podatki se ne bodo posredovali tretjim osebam, razen po zakonski obveznosti.
  5. Shranjevanje podatkov: Zbirka podatkov, ki jo gosti Occentus Networks (EU)
  6. Pravice: Kadar koli lahko omejite, obnovite in izbrišete svoje podatke.

  1.   Carlos je dejal

    Uporabite lahko tudi razvrščanje -u.

    Čestitke za blog, všeč mi je!

    1.    KZKG ^ Gaara je dejal

      Ja seveda.
      Nič, najlepša hvala za komentar 😀

      Dobrodošli 😉
      pozdrav

  2.   Diego je dejal

    Težava pri tem je, da spremeni vrstni red besed, deluje ... ampak rezultat se na koncu močno razlikuje od prvotnega v vrstnem redu (kar je morda v nekaterih primerih pomembno)

    1.    KZKG ^ Gaara je dejal

      Ja, res, to ureja besede po abecedi, zato, če je bila vsebina potrebna BREZ različic, ta rešitev ni idealna.

    2.    Carlos je dejal

      Ne zajebavajte se, kaj če ne boste dali ukaza za razvrščanje? prosim, premislite še malo in naj vam ne bo vse prežvečeno.

      mačka pass.txt | uniq> pass-ready.txt

      1.    Eliuber je dejal

        ne deluje, poskusil sem

      2.    zrna je dejal

        ne deluje, ker morajo biti "ponavljajoče se" vrstice neprekinjene

  3.   neimenovani je dejal

    hvala

    je zelo koristno

  4.   giskard je dejal

    Zelo dobro! Preprosta in jasna rešitev. Všeč so mi take stvari 🙂
    Moram priznati, da bi nekaj naredil v Pythonu, vendar je ta rešitev v redu.

    1.    KZKG ^ Gaara je dejal

      hvala ^ - ^

  5.   tino je dejal

    Zdravo! zelo dobro!
    Imam vprašanje, prosim
    zame bi šlo za naslednji primer:
    ABCD 1111
    DEFG 2222 45455
    ABCD 1111
    DEFG 2222

    Vrstice so enake, vendar imajo presledke in nekaj več znakov ... ali to preverja isto besedo? ali po liniji? Razložim?
    od zdaj naprej se vam najlepše zahvaljujem.
    Objem

    1.    KZKG ^ Gaara je dejal

      Živijo, kako gre
      Kot sem videl, to primerja vrstice in ne stolpce, zato bi v primeru, ki mi ga navedete, to odstranilo bodisi 1. vrstico bodisi 3., 2. in 4. vrstico, čeprav so skoraj enake, vendar niso 100% enake, ker imajo stolpec razlike. 😉

      Hvala za komentar ^ - ^

      1.    TINE je dejal

        Hvala tebi!! prej je trajalo eno uro, da je Oracle odstranil dvojnike ... zdaj traja 30 sekund pri razvrščanju mačk !!

  6.   MegaBedder je dejal

    Zahtevam v PHP: S.

    1.    KZKG ^ Gaara je dejal

      Uff ... Sem PHP, zelo, zelo kratek sem, v resnici nisem programer 🙁

      Žal mi je.

    2.    brunocascio je dejal

      Za php je v uradni dokumentaciji PHP array_unique (…), kjer boste našli veliko pomembnih in učinkovitih funkcij.

      Glede razvrščanja ni potrebno, razen če ga potrebujete ... Čas izvedbe in pomnilnik sta zapravljena. (za to, kar je storjeno v prispevku)

      Lep pozdrav!

  7.   čudak je dejal

    Vau !! slovar za uporabo kot surova sila! XD

  8.   Gustavo je dejal

    Zelo dobra kombinacija sort z uniq! Zelo mi je pomagalo odstraniti podvojene vrstice.

    hvala

  9.   Gustavo je dejal

    Carlosov komentar kljub svoji aroganci ni veljaven. Pravi, da uporabite:

    mačka pass.txt | uniq> pass-ready.txt

    vendar je predpogoj za uniq, da je datoteka urejena. Bi moral o tem malo več razmisliti ali se pozanimati.

  10.   Eliuber je dejal

    zelo dobro, prihranili ste mi veliko časa pri mojem bashu

  11.   Kremenčevi kamni je dejal

    awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
    s tem se črte odpravijo, ne da bi jih bilo treba naročiti.

  12.   mininiyo je dejal

    Najlepša hvala za prispevek!

    Čeprav bi bilo v redu, če bi ga lahko naredili edinstvenega, ne da bi spremenili vrstni red, ampak hej, enostaven in uporaben ukaz!

  13.   Felipe Gutierrez je dejal

    Hvala, zelo mi je pomagalo 😉

  14.   Ernesto je dejal

    Jaz imam to
    C000006158880201502051056088364 C00-06158880
    C000007601673201503051056088364 C00-07601673
    C000008659304201504051056088364 C00-08659304
    T 0809074070562015120818144287185REAÑO RUBINOS EMILIA DORIS
    T 0809092979972016010818144287185REAÑO RUBINOS EMILIA DORIS
    C000005398451201501231044214375 C00-05398451
    C000007674996201503051000000286 C00-07674996
    C000008514288201504051000000463 C00-08514288
    C000011613498201506051056088070 C00-11613498

    Kako naj v datoteki poslikam samo dvojnike na naročnika, tiste, ki niso dvojniki, pa pustim v drugi?

    naročnik je v položaju 23 (10 položajev)

  15.   Fernando je dejal

    razvrsti -u -k 1,1 File.txt> result.txt

    S tem datoteko razvrstite po prvem polju

  16.   Jaz sem diego je dejal

    2020 in še vedno služim, najlepša hvala!

  17.   sarah je dejal

    B con co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều besedilo datoteke v Linuxu ali Windowsu được không? Cũng như trường hợp của bạn, khi tôi tạo datoteka từ điển vì tôi chia nội dung ra nên Có khá nhiều datoteka và chắc chắn con nhiều dòng trùng lặp giữa Các datoteka. Ví dụ: Datoteka 1 của tôi co 5 dòng, datoteka 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 th only only bỏ 2 dòng giống file 1 .
    Như bạn biết co nhiều li do chúng ta ko thể gộp các datoteka txt đó lại với nhau, vì những besedilo datoteke từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!