Izraฤujem rjeฤnik najฤeลกฤe koriลกtenih lozinki, popularnih ili najฤeลกฤe koriลกtenih od korisnika (... Ne pitajte zaลกto ... HAHAHA), zbog toga uzimam tekst iz drugih rjeฤnika itd., ali, nalazim se u situaciji da postoji mnogo dupliciranih lozinki i moram ukloniti duplicirane retke.
To je, na primjer ... imamo sljedeฤu datoteku: pass.txt
A njegov sadrลพaj je:
asdasd
Lola
ljubav
asdasd
prozori
admin
Linux
asdasd
ljubav
Kao ลกto vidimo, ponovili smo ยซljubavยปYยซasdasdยซ, Posljednji 3 puta. Kako ukloniti duplikate linija?
Pomoฤu ove naredbe to je jednostavno uฤiniti:
cat pass.txt | sort | uniq > pass-listos.txt
Ovo ฤe generirati datoteku pod nazivom pass-ready.txt koji ฤe sadrลพavati:
admin
asdasd
Linux
Lola
ljubav
prozori
Naredba je VRLO jednostavna ...
- maฤka pass.txt - ยปNavedite sadrลพaj datoteke.
- vrsta - ยปRazvrstajte sadrลพaj po abecedi.
- jedinstven - ยปUklonite dvostruke linije.
- > pass-ready.txt - ยปRezultat prethodnih naredbi, stavite ga u datoteku pass-ready.txt (koja ฤe je, kako ne postoji, stvoriti)
To je tako jednostavno ... Upravo sam otkrio tu naredbu vrsta da, vrlo je dobro ... ali, zajedno s jedinstven, oni su dragulj umjetnosti ๏
Nadam se da ste bili od pomoฤi.
pozdravi
Takoฤer moลพete koristiti sort -u.
ฤestitam na blogu, sviฤa mi se!
Da baลก.
Niลกta, puno hvala na komentaru ๐
Dobrodoลกli ๐
pozdravi
Problem s tim je ลกto mijenja redoslijed rijeฤi, djeluje ... ali na kraju se rezultat puno razlikuje od izvornika po redoslijedu (ลกto je moลพda u nekom sluฤaju vaลพno)
Da, zaista, ovo poreda rijeฤi po abecedi, pa ako je sadrลพaj potreban BEZ varijacija, ovo rjeลกenje nije idealno.
Ne zajebavajte se, ลกto ako ne stavite naredbu za sortiranje? molim te, razmisli malo viลกe i ne daj sve proลพvakati.
maฤka pass.txt | uniq> pass-ready.txt
ne ide, probao sam
ne radi jer "ponovljeni" redovi moraju biti kontinuirani
hvala
sasvim je korisno
Vrlo dobro! Jednostavno i jasno rjeลกenje. Sviฤaju mi โโse takve stvari ๐
Moram priznati da bih uฤinio neลกto u Pythonu, ali ovo je rjeลกenje u redu.
hvala ^ - ^
Zdravo! vrlo dobro!
Imam upit, molim
to bi mi odgovaralo za sljedeฤi primjer:
ABCD 1111
DEFG 2222 45455
ABCD 1111
DEFG 2222
Redovi su isti, ali imaju razmake i joลก nekoliko znakova ... provjerava li to istu rijeฤ? ili linijom? Ja objaลกnjavam?
od sada, puno vam hvala.
Zagrljaj
Bok, kako si,
Kao ลกto sam vidio, ovo usporeฤuje linije, a ne stupce, pa bi u primjeru koji mi date ovo uklonilo ili 1. ili 3., 2. i 4. redak, iako su gotovo identiฤni, nisu 100% identiฤni jer imaju stupac razlike. ๐
Hvala na komentaru ^ - ^
Zahvaljujuฤi tebi!! prije nego ลกto je satu trebalo da Oracle ukloni duplikate ... sada treba 30 sekundi za sortiranje maฤaka !!
Potreban mi je u PHP: S
Uff ... Koristim PHP jer sam jako, jako nizak, nisam zapravo programer
ลฝao mi je.
Za php postoji array_unique (...) u sluลพbenoj PHP dokumentaciji pronaฤi ฤete mnoge vaลพne i uฤinkovite funkcije.
ล to se tiฤe sortiranja, osim ako vam je potrebna, nije potrebno ... Vrijeme izvrลกenja i memorija se troลกe. (za ono ลกto je uฤinjeno u postu)
Pozdrav!
Wow !! rjeฤnik za upotrebu kao gruba sila !! XD
Vrlo dobra kombinacija sort with uniq! Puno mi je pomoglo ukloniti duplikate linija.
hvala
Carlosov komentar, unatoฤ svojoj aroganciji, nije valjan. Kaลพe da se koristi:
maฤka pass.txt | uniq> pass-ready.txt
meฤutim preduvjet uniq-a je da je datoteka naruฤena. Trebali ste malo viลกe razmisliti o tome ili se informirati prije.
vrlo dobro, uลกtedjeli ste mi puno vremena radeฤi moj bash
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
s tim se linije uklanjaju bez potrebe za naruฤivanjem.
Hvala vam puno za ulaz!
Iako bi bilo cool napraviti ga jedinstvenim bez promjene redoslijeda, ali hej, lagana i korisna naredba!
Hvala, puno mi je pomoglo ๐
ja imam ovo
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185REAรO RUBINOS EMILIA DORIS
T 0809092979972016010818144287185REAรO RUBINOS EMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
Kako mogu postiฤi da u datoteci obojim samo duplikate po pretplatniku, a one koji nisu duplikati ostavim u drugoj?
pretplatnik je u poziciji 23 (10 pozicija)
poredak -u -k 1,1 File.txt> result.txt
Ovo sortira datoteku po prvom polju
2020. i joลก uvijek sluลพim, puno vam hvala!
Jeste li suraฤivali s loลกim softverom, ako ste se odluฤili za datoteku teksta u Linuxu ili sustavu Windows ฤฦฐแปฃc khรดng? Cลฉng nhฦฐ trฦฐแปng hแปฃp cแปงa bแบกn, khi tรดi tแบกo file tแปซ ฤiแปn vรฌ tรดi chia nแปi dung ra nรชn Cรณ khรก nhiแปu file vร chแบฏc chแบฏn con nhiแปu dรฒng trรนng lแบทp giแปฏa Cรกc file. Vรญ dแปฅ: Datoteka 1 cแปงa tรดi co 5 dรฒng, datoteka 2 co 15 dรฒng (co 2 dรฒng trรนng lแบทp vแปi File 1. Tรดi muแปn co kแบฟt quแบฃ, Datoteka 1 vแบซn giแปฏ nguyรชn 5 dรฒng, Datoteka 2 samo bแป 2 dรฒng giแปng datoteka 1 .
Nhฦฐ bแบกn biแบฟt co nhiแปu li do chรบng ta ko thแป gแปp cรกc datoteka txt ฤรณ lแบกi vแปi nhau, vรฌ nhแปฏng tekst datoteke tแปซ ฤiแปn rแบฅt ฦฐ lร nhiแปu kรฝ, chแบณng hแบกn nhฦฐ Rockyou. Thแปฑc tแบฟ tรดi muแปn thแปฑc hiแปn ฤiแปu nร y bรชn Windows hฦกn, vร chแบฏc chแบฏn ko thแป gแปp chรบng แป bรชn Windows ฤฦฐแปฃc. Hy vแปng nhแบญn ฤฦฐแปฃc phแบฃn hแปi tแปซ bแบกn!