Ich erstelle ein Wörterbuch mit den am häufigsten verwendeten Passwörtern, den beliebtesten oder am häufigsten verwendeten Benutzern (… Frag nicht warum… HAHAHA), dafür nehme ich Text aus anderen Wörterbüchern usw., aber ich befinde mich in der Situation, dass es viele doppelte Passwörter gibt, und ich muss die doppelten Zeilen entfernen.
Das heißt zum Beispiel ... wir haben die folgende Datei: pass.txt
Und sein Inhalt ist:
asdasd
lola
ich liebe
asdasd
Fenster
Administrator
linux
asdasd
ich liebe
Wie wir sehen, haben wir wiederholt «ich liebe„Und“asdasd«, Letzteres 3 mal. Wie entferne ich doppelte Zeilen?
Mit diesem Befehl ist es einfach:
cat pass.txt | sort | uniq > pass-listos.txt
Dadurch wird eine Datei mit dem Namen generiert pass-ready.txt welches enthalten wird:
Administrator
asdasd
linux
lola
ich liebe
Fenster
Was der Befehl tut, ist SEHR einfach ...
- cat pass.txt - »Listen Sie den Inhalt der Datei auf.
- sortieren - »Sortieren Sie den Inhalt alphabetisch.
- uniq - »Doppelte Zeilen beseitigen.
- > pass-ready.txt - »Das Ergebnis der vorherigen Befehle in die Datei pass-ready.txt (was, da es nicht existiert, es schaffen wird)
So einfach ist das ... Ich habe gerade entdeckt, dass der Befehl sortieren ja, es ist sehr gut ... aber zusammen mit uniq, sie sind ein Juwel der Kunst 😀
Ich hoffe du warst hilfreich.
Grüße
Sie können auch sort -u verwenden.
Herzlichen Glückwunsch zum Blog, ich liebe es!
Ja, genau.
Nichts, vielen Dank für den Kommentar 😀
Willkommen 😉
Grüße
Das Problem dabei ist, dass es die Reihenfolge der Wörter ändert, es funktioniert ... aber am Ende unterscheidet sich das Ergebnis stark vom Original in der Reihenfolge (was vielleicht in einigen Fällen wichtig ist)
Ja, dies ordnet die Wörter alphabetisch an. Wenn also der Inhalt OHNE Variationen benötigt wurde, ist diese Lösung nicht die ideale.
Scheiß nicht herum, was ist, wenn es dir einfällt, den Sortierbefehl nicht zu setzen? Bitte denken Sie etwas mehr nach und lassen Sie nicht alles zerkauen.
cat pass.txt | uniq> pass-ready.txt
es funktioniert nicht, ich habe es versucht
funktioniert nicht, weil "wiederholte" Zeilen durchgehend sein müssen
dank
es ist sehr nützlich
Sehr gut! Eine einfache und klare Lösung. Ich mag solche Dinge 🙂
Ich muss zugeben, dass ich etwas in Python getan hätte, aber diese Lösung ist in Ordnung.
dank ^ - ^
Hallo! sehr gut!
Ich habe bitte eine Frage
es würde für mich für das folgende Beispiel funktionieren:
ABC 1111
DEFG 2222 45455
ABC 1111
DEFG 2222
Die Zeilen sind gleich, aber sie haben Leerzeichen und ein paar weitere Zeichen ... prüft dies auf dasselbe Wort? oder per Leitung? Ich erkläre?
von nun an danke ich dir vielmals.
Eine Umarmung
Hallo,
Wie ich gesehen habe, vergleicht dies Zeilen und nicht Spalten. In dem Beispiel, das Sie mir geben, würde dies entweder die 1. Zeile oder die 3., 2. und 4. Zeile entfernen, obwohl sie fast identisch sind, sind sie nicht 100% identisch, weil sie haben eine Differenzspalte. 😉
Danke für den Kommentar ^ - ^
Danke dir!! bevor es eine Stunde gedauert hat, bis Orakel Duplikate beseitigt hat ... jetzt dauert es 30 Sekunden mit der Katzensorte !!
Ich benötige es in PHP: S.
Uff ... Ich bin PHP, ich bin sehr, sehr klein, ich bin nicht wirklich ein Programmierer 🙁
Entschuldigung.
Für PHP gibt es array_unique (…) in der offiziellen PHP-Dokumentation finden Sie viele wichtige und effiziente Funktionen.
In Bezug auf die Sortierung ist es nicht erforderlich, es sei denn, Sie benötigen sie ... Ausführungszeit und Speicher werden verschwendet. (für das, was in der Post gemacht wird)
Viele Grüße!
Beeindruckend !! ein Wörterbuch als Brute Force !! XD
Sehr gut die Kombination von Sortierung mit Uniq! Es hat mir sehr geholfen, doppelte Zeilen zu entfernen.
dank
Carlos 'Kommentar ist trotz seiner Arroganz nicht gültig. Er sagt zu verwenden:
cat pass.txt | uniq> pass-ready.txt
Voraussetzung für uniq ist jedoch, dass die Datei bestellt wird. Du hättest ein bisschen mehr darüber nachdenken oder dich vorher informieren sollen.
Sehr gut, du hast mir viel Zeit beim Ausführen meiner Bash gespart
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
Damit entfallen die Zeilen ohne Bestellung.
Vielen Dank für den Input!
Es wäre zwar cool, es einzigartig zu machen, ohne die Reihenfolge zu ändern, aber hey, ein einfacher und nützlicher Befehl!
Danke, es hat mir sehr geholfen 😉
ich habe das
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185REAÑO RUBIÑOS EMILIA DORIS
T 0809092979972016010818144287185REAÑO RUBIÑOS EMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
Wie kann ich nur die Duplikate pro Abonnent in eine Datei malen und diejenigen, die keine Duplikate sind, in einer anderen Datei belassen?
Der Teilnehmer befindet sich in Position 23 (10 Positionen).
sort -u -k 1,1 File.txt> result.txt
Dadurch wird die Datei nach dem ersten Feld sortiert
2020 und noch dienen, vielen Dank!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều Dateitext trong Linux oder Windows được không? Cũng như trường hợp của bạn, khi tôi tạo Datei từ điển vì tôi chia nội dung ra nên Có khá nhiều Datei và chắc chắn con nhiều dòng trùng lặc gi Datei. Ví dụ: Datei 1 của tôi co 5 dòng, Datei 2 co 15 dòng (co 2 dòng trùng lặp với Datei 1. Tôi muốn co kết quả, Datei 1 vẫn giữ nguyên 5 dòng, Datei 2 thì nur bỏ 2 dòng gi .
Như bạn biết co nhiều li do chúng ta ko thể gộp các Datei txt đó lại với nhau, vì những Dateitext từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!