Teen sanakirjaa yleisimmin käytetyistä salasanoista, käyttäjien suosimista tai usein käyttämistä (... Älä kysy miksi ... HAHAHA), tätä varten otan tekstiä muista sanakirjoista jne., mutta huomaan olevani tilanteessa, jossa on useita päällekkäisiä salasanoja, ja minun on poistettava päällekkäiset rivit.
Eli esimerkiksi ... meillä on seuraava tiedosto: pass.txt
Ja sen sisältö on:
asdasd
lola
rakkaus
asdasd
ikkunat
admin
linux
asdasd
rakkaus
Kuten näemme, olemme toistaneet «rakkaus»Y«asdasd«, Jälkimmäinen 3 kertaa. Kuinka poistaa päällekkäiset rivit?
Se on yksinkertaista tällä komennolla:
cat pass.txt | sort | uniq > pass-listos.txt
Tämä luo tiedoston nimeltä pass-ready.txt joka sisältää:
admin
asdasd
linux
lola
rakkaus
ikkunat
Komennon tekeminen on hyvin yksinkertaista ...
- kissan pass.txt - »Luettele tiedoston sisältö.
- lajitella - »Lajittele sisältö aakkosjärjestyksessä.
- ainutlaatuinen - »Poista päällekkäiset rivit.
- > pass-ready.txt - »Edellisten komentojen tulos, laita se tiedostoon pass-ready.txt (joka luo sen, koska sitä ei ole olemassa)
Se on niin yksinkertaista ... huomasin juuri komennon lajitella kyllä, se on erittäin hyvä ... mutta yhdessä ainutlaatuinen, ne ovat taiteen helmi 😀
Toivottavasti olet ollut hyödyllinen.
terveiset
Voit käyttää myös lajittelua -u.
Onnittelut blogista, rakastan sitä!
Joo oikein.
Ei mitään, kiitos paljon kommentoinnista 😀
Tervetuloa 😉
terveiset
Ongelmana on, että se muuttaa sanojen järjestystä, se toimii ... mutta loppujen lopuksi tulos eroaa paljon alkuperäisestä järjestyksessä (mikä ehkä joissakin tapauksissa on merkitystä)
Kyllä, tämä järjestää sanat aakkosjärjestyksessä, joten jos sisältöä tarvittiin ILMAN muunnelmia, tämä ratkaisu ei ole ihanteellinen.
Älä pyöri ympäriinsä, entä jos tulee mieleesi jättää lajittelukomentoa? Ajattele vielä vähän, älä pidä kaikkea pureskeltavana.
kissan pass.txt | uniq> pass-ready.txt
se ei toimi, yritin sitä
ei toimi, koska "toistuvien" viivojen on oltava jatkuvia
kiitos
se on varsin hyödyllinen
Oikein hyvä! Yksinkertainen ja selkeä ratkaisu. Pidän sellaisista asioista 🙂
Minun on myönnettävä, että olisin tehnyt jotain Pythonissa, mutta tämä ratkaisu on hieno.
kiitos ^ - ^
Hei! Oikein hyvä!
Minulla on kysely
se toimisi minulle seuraavassa esimerkissä:
ABCD 1111
DEFG 2222 45455
ABCD 1111
DEFG 2222
Rivit ovat samat, mutta niissä on välilyöntejä ja muutama merkki lisää ... tarkistaako tämä samaa sanaa? vai linjalla? Minä selitän?
etukäteen, kiitän paljon.
halauksen
Hei Sellaisena
Kuten näin, tämä vertaa viivoja eikä sarakkeita, joten antamassani esimerkissä tämä poistaisi joko ensimmäisen tai kolmannen, toisen ja neljännen rivin, vaikka ne ovatkin lähes identtisiä, mutta eivät ole 1% identtisiä, koska ero sarake. 😉
Kiitos kommentista ^ - ^
Kiitos sinun!! ennen kuin oraakkeli kesti tunnin kaksoiskappaleiden poistamiseksi ... nyt kissa-lajittelulla kestää 30 sekuntia !!
Vaadin sitä PHP: ssä: S
Uff ... Käytän PHP: tä, koska olen hyvin, hyvin lyhyt, en todellakaan ole ohjelmoija
Olen pahoillani.
PHP: n virallisessa PHP-dokumentaatiossa on array_unique (…), josta löydät monia tärkeitä ja tehokkaita toimintoja.
Lajittelun osalta se ei ole välttämätöntä, ellet tarvitse sitä ... Suoritusaika ja muisti ovat hukkaan. (mitä postissa tehdään)
Tervehdys!
Vau !! sanakirja, jota käytetään raakana voimana! XD
Erittäin hyvä yhdistelmä lajittelua uniqin kanssa! Se auttoi minua poistamaan päällekkäisiä viivoja.
kiitos
Carlosin kommentti ei hänen pätevyydestään huolimatta ole pätevä. Hän sanoo käyttävänsä:
kissan pass.txt | uniq> pass-ready.txt
uniqin edellytys on kuitenkin, että tiedosto on järjestetty. Sinun olisi pitänyt miettiä sitä hieman enemmän tai kertoa itsellesi ennen.
erittäin hyvä, säästit minulta paljon aikaa juoksuni
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
tällöin linjat poistetaan ilman tilaamista.
Paljon kiitoksia panoksesta!
Vaikka olisi hienoa pystyä tekemään siitä ainutlaatuinen muuttamatta järjestystä, mutta hei, helppo ja hyödyllinen komento!
Kiitos, se auttoi minua paljon 😉
minulla on tämä
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185 REAÑO RUBIÑOS EMILIA DORIS
T 0809092979972016010818144287185 REAÑO RUBIÑOS EMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
Kuinka saan sen maalata tiedostoon vain kaksoiskappaleet tilaajaa kohti ja jättämään ne, jotka eivät ole kopioita, toiseen?
tilaaja on pos 23 (10 paikkaa)
lajittele -u -k 1,1 File.txt> result.txt
Tämä lajittelee tiedoston ensimmäisen kentän mukaan
2020 ja palvelee edelleen, kiitos paljon!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều -tiedostoteksti trong Linux vai Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa Các file. Kuva: Tiedosto 1 của tôi co 5 dòng, tiedosto 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 thì only bỏ 2 dòng giống file 1 .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text ừ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Thực tếi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!