Jag gör en ordlista över de mest använda lösenorden, de populäraste eller ofta använda av användare (... Fråga inte varför ... HAHAHA), för detta tar jag text från andra ordböcker etc, men jag befinner mig i situationen att det finns många dubbla lösenord, och jag måste eliminera dubbleradraderna.
Det är till exempel ... vi har följande fil: pass.txt
Och dess innehåll är:
asdasd
lola
älskar
asdasd
fönster
administration
linux
asdasd
älskar
Som vi ser har vi upprepat «älskar»Y«asdasd«, Den senare tre gånger. Hur tar jag bort dubbla rader?
Att göra det är enkelt med det här kommandot:
cat pass.txt | sort | uniq > pass-listos.txt
Detta genererar en fil som heter pass-ready.txt som kommer att innehålla:
administration
asdasd
linux
lola
älskar
fönster
Vad kommandot gör är MYCKET enkelt ...
- kattpass.txt - »Lista innehållet i filen.
- sortera - »Sortera innehållet alfabetiskt.
- unik - »Eliminera dubbla rader.
- > pass-ready.txt - »Resultatet av de tidigare kommandona, lägg det i filen pass-ready.txt (som, eftersom det inte finns, kommer att skapa det)
Det är så enkelt ... Jag upptäckte just att kommandot sortera ja, det är väldigt bra ... men tillsammans med unik, de är en juvel av konst 😀
Jag hoppas att du har varit till hjälp.
hälsningar
Du kan också använda sort -u.
Grattis till bloggen, jag älskar det!
Ja visst.
Ingenting, tack så mycket för att du kommenterade 😀
Välkommen 😉
hälsningar
Problemet med det är att det ändrar ordens ordning, det fungerar ... men i slutändan skiljer sig resultatet mycket från originalet i ordningen (vilket kanske i vissa fall spelar roll)
Ja, det ordnar orden i alfabetisk ordning, så om innehållet behövdes UTAN variationer är den här lösningen inte den perfekta.
Skruva inte, vad händer det om du inte lägger till sorteringskommandot? snälla tänka lite mer och inte ha allt tuggat upp.
kattpass.txt | uniq> pass-ready.txt
det fungerar inte, jag försökte det
fungerar inte eftersom "upprepade" rader måste vara kontinuerliga
Tack
det är ganska användbart
Mycket bra! En enkel och tydlig lösning. Jag gillar sådana saker 🙂
Jag måste erkänna att jag skulle ha gjort något i Python men den här lösningen är bra.
tack ^ - ^
Hallå! mycket bra!
Jag har en fråga snälla
det skulle fungera för mig för följande exempel:
ABCD 1111
DEFG 2222 45455
ABCD 1111
DEFG 2222
Raderna är desamma men de har mellanslag och några fler tecken ... söker det efter samma ord? eller per linje? Jag förklarar?
från och med nu tackar jag dig mycket.
en kram
Hallå där,
Som jag såg jämför detta rader och inte kolumner, så i exemplet du ger mig skulle detta ta bort antingen den första raden eller den tredje, andra och fjärde raden, även om de är nästan identiska, är de inte 1% identiska eftersom de har en skillnadskolumn. 😉
Tack för kommentaren ^ - ^
Tack vare dig!! innan det tog en timme för orakel att eliminera dubbletter ... nu tar det 30 sekunder med kattens sortering !!
Jag behöver det i PHP: S
Uff ... Jag är PHP, jag är väldigt, väldigt kort, jag är inte riktigt programmerare 🙁
Jag är ledsen.
För php finns array_unique (...) i den officiella PHP-dokumentationen. Du hittar många viktiga och effektiva funktioner.
När det gäller sorteringen är det inte nödvändigt om du inte behöver det ... Exekveringstid och minne slösas bort. (för vad som görs i inlägget)
Hälsningar!
Wow !! en ordbok att använda som brute force !! XD
Mycket bra kombinationen sort med uniq! Det hjälpte mig mycket att ta bort dubbla rader.
tack
Trots hans arrogans är Carlos kommentar inte giltig. Han säger att använda:
kattpass.txt | uniq> pass-ready.txt
En förutsättning för uniq är dock att filen beställs. Du borde ha funderat på det lite mer eller informerat dig själv tidigare.
väldigt bra, du sparade mig mycket tid på att köra min bash
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
med detta elimineras raderna utan att behöva beställas.
Tack så mycket för bidraget!
Även om det vore coolt att kunna göra det unikt utan att ändra ordningen, men hej, ett enkelt och användbart kommando!
Tack, det hjälpte mig mycket 😉
jag har den
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185 REAÑO RUBIÑOS EMILIA DORIS
T 0809092979972016010818144287185 REAÑO RUBIÑOS EMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
Hur får jag det att bara måla duplikaten per abonnent i en fil och lämna de som inte är dubbletter i en annan?
abonnenten är i pos 23 (10 positioner)
sortera -u -k 1,1 File.txt> result.txt
Detta sorterar filen efter det första fältet
2020 och serverar fortfarande, tack så mycket!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều file text trong Linux or Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa Các file. Ví dụ: File 1 của tôi co 5 dòng, file 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 thì only bỏ 2 dòng giống file 1 .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!