Я складаю словник найбільш часто використовуваних паролів, популярних або найчастіше використовуваних користувачами (... Не питайте, чому ... HAHAHA), для цього я беру текст з інших словників тощо, але, я опиняюся в ситуації, що існує багато повторюваних паролів, і мені потрібно усунути повторювані рядки.
Тобто, наприклад ... ми маємо такий файл: pass.txt
І його зміст:
Asdasd
Лола
любов
Asdasd
windows
адмін
Linux
Asdasd
любов
Як бачимо, ми повторили «любов"Y"Asdasd«, Останній 3 рази. Як видалити повторювані рядки?
Зробити це просто за допомогою цієї команди:
cat pass.txt | sort | uniq > pass-listos.txt
Це створить файл із назвою pass-ready.txt який міститиме:
адмін
Asdasd
Linux
Лола
любов
windows
Що робить команда ДУЖЕ просто ...
- cat pass.txt - »Перелічіть вміст файлу.
- сортувати - »Сортувати вміст за алфавітом.
- унікальний - »Виключити повторювані рядки.
- > pass-ready.txt - »Результат попередніх команд, помістіть його у файл pass-ready.txt (який, оскільки його не існує, створить його)
Це все просто ... Я щойно виявив, що команда сортувати так, це дуже добре ... але разом із унікальний, вони є коштовністю мистецтва 😀
Сподіваюсь, ви допомогли.
привіт
Ви також можете використовувати сортування -u.
Вітаю з блогом, мені це подобається!
Так звичайно.
Нічого, велике спасибі за коментар 😀
Ласкаво просимо 😉
привіт
Проблема в тому, що він змінює порядок слів, працює ... але в підсумку результат сильно відрізняється від оригіналу в порядку (що, можливо, в деяких випадках це має значення)
Так, це впорядковує слова за алфавітом, тому, якщо вміст потрібен БЕЗ варіацій, це рішення не є ідеальним.
Не вкручуйтеся, а що, якщо вам спаде на думку не ставити команду сортування? будь ласка, подумайте ще трохи і не хай все пережовується.
cat pass.txt | uniq> pass-ready.txt
це не працює, я спробував
не працює, оскільки "повторювані" рядки повинні бути безперервними
спасибі
це досить корисно
Дуже добре! Просте і зрозуміле рішення. Мені подобаються такі речі 🙂
Я повинен визнати, що я б щось зробив у Python, але це рішення чудово.
Грекіас ^ - ^
Привіт! дуже добре!
У мене є запит, будь ласка
мені це підійде для наступного прикладу:
ABCD 1111
DEFG 2222 45455
ABCD 1111
DEFG 2222
Рядки однакові, але вони мають пробіли та ще кілька символів ... чи перевіряє це те саме слово? чи за лінією? Я пояснюю?
відтепер я вам велике дякую.
Обійми
Привіт як це відбувається
Як я вже бачив, це порівнює рядки, а не стовпці, тому в прикладі, який ви мені даєте, це видалить або 1-й рядок, або 3-й, 2-й і 4-й рядки, хоча вони майже ідентичні, але не на 100% ідентичні, оскільки вони мають стовпець різниці. 😉
Дякую за коментар ^ - ^
Дякую тобі!! раніше оракулу потрібно було годину, щоб усунути дублікати ... тепер для сортування котів потрібно 30 секунд !!
Я вимагаю це в PHP: S
Уфф ... Я PHP, я дуже, дуже низький, я насправді не програміст 🙁
Вибачте
Для php є array_unique (...) в офіційній документації PHP ви знайдете багато важливих та ефективних функцій ..
Щодо сортування, якщо це вам не потрібно, це не потрібно ... Час виконання та пам'ять витрачаються даремно. (за те, що зроблено у дописі)
Привіт!
Ого !! словник для використання як груба сила !! XD
Дуже добре поєднання sort з uniq! Мені це дуже допомогло видалити дублікати рядків.
Грекіас
Коментар Карлоса, незважаючи на його зарозумілість, не дійсний. Він каже використовувати:
cat pass.txt | uniq> pass-ready.txt
проте обов'язковою умовою uniq є те, що файл упорядкований. Вам слід було подумати про це трохи більше або повідомити себе раніше.
дуже добре, ви заощадили мені багато часу на запуску мого башу
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
за допомогою цього лінії усуваються без замовлення.
Щиро дякую за внесок!
Хоча було б круто мати можливість зробити його унікальним, не змінюючи порядок, але ей, легка та корисна команда!
Дякую, це мені дуже допомогло 😉
У мене це є
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185РЕАНО РУБІНОС ЕМІЛІЯ ДОРІС
T 0809092979972016010818144287185РЕАНО РУБІНОС ЕМІЛІЯ ДОРІС
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
Як отримати так, щоб я зафарбував мене у файл лише дублікатами на одного абонента, а ті, що не є дублікатами, залишив в іншому?
абонент знаходиться в поз 23 (10 позицій)
сортувати -u -k 1,1 File.txt> result.txt
Це сортує файл за першим полем
2020 рік і все ще служить, велике спасибі!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều text file trong Linux or Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa Các file. Відображається: Файл 1 - це 5 спільних файлів, файл 2 - 15 денних (спільний файл 2 - 1). .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những text file từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. У такому випадку, він може бути найближчим до Windows hơn, до chắc chắn ko thể gộp chúng ở bên Windows được. Hy vọng nhận được phản hồi từ bạn!