Я составляю словарь наиболее часто используемых паролей, популярных или наиболее часто используемых пользователями (… Не спрашивайте, почему… ХАХАХА), для этого я беру текст из других словарей и т.д., но я оказываюсь в ситуации, когда есть много повторяющихся паролей, и мне нужно удалить повторяющиеся строки.
То есть, например ... у нас есть такой файл: пройти.txt
И его содержание:
Asdasd
Лола
любят
Asdasd
окна
Администратор
Linux
Asdasd
любят
Как видим, мы повторили «любят«И»Asdasd«, Последнее 3 раза. Как удалить повторяющиеся строки?
Сделать это просто с помощью этой команды:
cat pass.txt | sort | uniq > pass-listos.txt
Это создаст файл с именем pass-ready.txt который будет содержать:
Администратор
Asdasd
Linux
Лола
любят
окна
Команда ОЧЕНЬ проста ...
- кошка pass.txt - »Перечислить содержимое файла.
- sort - »Сортировать содержимое по алфавиту.
- уник - »Устранение повторяющихся строк.
- > pass-ready.txt - »Результат предыдущей команды поместите в файл pass-ready.txt (который, поскольку его не существует, создаст его)
Это так просто ... Я только что обнаружил, что команда sort да, очень хорошо ... но вместе с уник, они жемчужина искусства 😀
Надеюсь, вы мне помогли.
привет
Вы также можете использовать sort -u.
Поздравляю с блогом, мне очень нравится!
Да правильно.
Ничего, большое спасибо за комментарий 😀
Добро пожаловать 😉
привет
Проблема в том, что он меняет порядок слов, он работает ... но в конечном итоге результат сильно отличается от оригинала по порядку (что, возможно, в некоторых случаях имеет значение)
Да, действительно, это упорядочивает слова в алфавитном порядке, поэтому, если контент был нужен БЕЗ вариаций, это решение не идеальное.
Не болтайте, а вдруг вам придет в голову не ставить команду сортировки? пожалуйста, подумайте еще немного и не пережевывайте все.
cat pass.txt | uniq> pass-ready.txt
не работает, я пробовал
не работает, потому что "повторяющиеся" строки должны быть непрерывными
Gracias
это довольно полезно
Очень хорошо! Простое и понятное решение. Мне нравятся такие вещи 🙂
Я должен признать, что сделал бы что-нибудь на Python, но это решение в порядке.
спасибо ^ - ^
Здравствуйте! очень хорошо!
У меня вопрос пожалуйста
это сработает для меня в следующем примере:
АВСD 1111
ДЕФГ 2222 45455
АВСD 1111
ДЕФГ 2222
Строки такие же, но в них есть пробелы и еще несколько символов ... проверяет ли это одно и то же слово? или по строке? Я объясняю?
с этого момента я вам большое спасибо.
Объятие
Привет,
Как я видел, при этом сравниваются строки, а не столбцы, поэтому в примере, который вы мне даете, это приведет к удалению либо 1-й строки, либо 3-й, 2-й и 4-й строк, хотя они почти идентичны, они не идентичны на 100%, потому что у них есть столбец разницы. 😉
Спасибо за комментарий ^ - ^
Спасибо тебе!! раньше оракулу требовалось час, чтобы удалить дубликаты ... теперь с сортировкой кошек требуется 30 секунд !!
Мне это нужно в PHP: S
Уфф ... Я PHP, я очень и очень невысокий, я не совсем программист 🙁
Мне очень жаль.
Для php есть array_unique (…) в официальной документации PHP, вы найдете много важных и эффективных функций.
Что касается сортировки, то, если она вам не нужна, это не обязательно ... Время выполнения и память тратятся. (за то, что сделано в посте)
Привет!
Вау !! словарь для грубой силы !! XD
Очень хорошее сочетание sort с uniq! Мне очень помогло удаление повторяющихся строк.
спасибо
Комментарий Карлоса, несмотря на его высокомерие, недействителен. Он говорит использовать:
cat pass.txt | uniq> pass-ready.txt
однако предварительным условием uniq является упорядоченность файла. Вы должны были подумать об этом немного больше или узнать раньше.
очень хорошо, ты сэкономил мне много времени, запустив мой bash
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
при этом линии удаляются без заказа.
Большое спасибо за ваш вклад!
Хотя было бы здорово иметь возможность сделать его уникальным, не меняя порядок, но эй, простая и полезная команда!
Спасибо, мне это очень помогло
у меня есть это
С 000006158880201502051056088364 C00-06158880
С 000007601673201503051056088364 C00-07601673
С 000008659304201504051056088364 C00-08659304
Т 0809074070562015120818144287185REAÑO RUBIOS EMILIA DORIS
Т 0809092979972016010818144287185REAÑO RUBIOS EMILIA DORIS
С 000005398451201501231044214375 C00-05398451
С 000007674996201503051000000286 C00-07674996
С 000008514288201504051000000463 C00-08514288
С 000011613498201506051056088070 C00-11613498
Как мне заставить его рисовать только дубликаты для каждого подписчика в файле и оставлять те, которые не дублируются в другом?
абонент находится на позиции 23 (10 позиций)
sort -u -k 1,1 File.txt> result.txt
Это сортирует файл по первому полю
2020 и все еще работаем, большое вам спасибо!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều текст файла в Linux или Windows được không? Cũng như trường hợp của bn, khi tôi tạo file từ iển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa Các file. Ví dụ: Файл 1 của tôi co 5 dòng, файл 2 co 15 dòng (co 2 dòng trùng lặp với Файл 1. Tôi muốn co kết quả, Файл 1 vẫn giữ nguyên 5 dòng, Файл 2, только 2 dòng giống, файл 1 .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Это то, что мы думаем, это то, что я не знаю, как это сделать в Windows, вам нужно, чтобы вы чувствовали себя виноватыми в Windows. 🙂 Hy vọng nhận được phản hồi từ bạn!