我正在制作一个最常用的密码字典，该密码是用户常用或最常用的密码（……不要问为什么……哈哈），为此，我从其他词典等那里获取文本，但是，我发现自己的情况是有很多重复的密码，因此需要消除重复的行。
换句话说，例如...，我们有以下文件： 通行证.txt
其内容是：
asdasd
萝拉
爱
asdasd
窗户
管理员
Linux的
asdasd
爱
如我们所见，我们重复了«爱“和”asdasd«，后者3次。 如何删除重复的行？
使用以下命令可以很容易地做到这一点：
cat pass.txt | sort | uniq > pass-listos.txt
这将生成一个名为 pass-ready.txt 其中将包含：
管理员
asdasd
Linux的
萝拉
爱
窗户
该命令的作用非常简单...
- 猫pass.txt -»列出文件的内容。
- 分类 -»按字母顺序排列内容。
- 优衣库 -»消除重复的行。
- > pass-ready.txt -»前面命令的结果，将其放入文件pass-ready.txt（它不存在，将创建它)
就这么简单...我刚刚发现该命令 分类 是的，这非常好...但是，与 优衣库，它们是艺术的瑰宝😀
希望对您有所帮助。
问候
墙纸：如果要下载壁纸«我爱＃！/ Bin / bash“链接在这里：
您还可以使用sort -u。
祝贺博客，我喜欢它！
是的，对。
没什么，非常感谢您发表评论😀
欢迎😉
问候
这样做的问题是，它改变了单词的顺序，可以工作……但是最终结果与原始顺序有很大不同（在某些情况下可能很重要）
是的，确实，这是按字母顺序对单词进行排序的，因此，如果需要内容而没有任何变化，则此解决方案不是理想的解决方案。
不要搞砸，如果不输入sort命令怎么办？ 请多想一点，不要把所有东西都咀嚼。
猫pass.txt | uniq> pass-ready.txt
它不起作用，我尝试过
不起作用，因为“重复”行必须连续
谢谢
这很有用
很好！ 一个简单明了的解决方案。 我喜欢这样的东西🙂
我必须承认我会在Python中完成某些操作，但是这种解决方案很好。
谢谢 ^ - ^
你好！ 很好！
我有一个查询
对于下面的示例，它将对我有用：
第 1111 章
国防部2222 45455
第 1111 章
防御2222
行是相同的，但是它们之间有空格和更多的字符...这是否检查相同的单词？ 还是按行？ 我解释？
从现在开始，我非常感谢您。
一个拥抱
你好，
如我所见，这是比较行而不是列，因此在您给我的示例中，这将删除第一行或第三，第二和第四行，尽管它们几乎相同，但它们并非1％相同，因为它们有一个差异列。 😉
感谢您的评论^-^
谢谢你！！ 甲骨文花了一个小时才消除重复...现在用猫排序花了30秒！
我在PHP中要求它：S
Uff ...我是PHP，我非常非常矮，我不是一个真正的程序员🙁
对不起。
对于php，在官方PHP文档中有array_unique（…），您会发现许多重要且有效的功能。
关于排序，除非需要，否则没有必要...执行时间和内存浪费。 （有关帖子的内容）
的问候！
哇 ！！ 用作暴力的字典!! XD
很好的与uniq结合使用！ 删除重复的行对我很有帮助。
谢谢
尽管自高自大，卡洛斯的评论还是无效的。 他说使用：
猫pass.txt | uniq> pass-ready.txt
但是，uniq的先决条件是文件是有序的。 之前应该多考虑一下或询问一下。
很好，您为我节省了很多时间来运行bash
awk'！array_temp [$ 0] ++'pass.txt> pass-ready.txt
这样，无需订购即可消除生产线。
非常感谢您的贡献！
虽然可以在不更改顺序的情况下使其变得唯一会很酷，但是，嘿，这是一个简单而有用的命令！
谢谢，这对我有很大帮助
我有这个
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T0809074070562015120818144287185REAÑORUBIÑOSEMILIA DORIS
T0809092979972016010818144287185REAÑORUBIÑOSEMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
我如何才能将每个订户的重复内容仅绘制在一个文件中，而将不重复的内容保留在另一个文件中？
订户位于pos 23（10个职位）
排序-u -k 1,1 File.txt> result.txt
这将按第一个字段对文件进行排序
2020年仍在继续，非常感谢！
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều 文件文本 trong Linux 或 Windows được không？ Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiữc file và nhiắc file và nhiắc file và nhiắc Ví dụ: File 1 của tôi co 5 dòng, File 2 co 15 dòng (co 2 dòng trùng lặp với File 1.Tôi muốn co kết quả, File 1 vẫn gu yòng 5ống 2 dòng, File 2 vẫn gu yn 1ống XNUMX .
Như bạn biết co nhiều li do chúng ta ko thể gộp các 文件 txt đó lại với nhau, vì những 文件文本 từ điển rấn rấnhỡn rể gộp các 文件 txt Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows đ.ược 🙂 Hy vọng nhận được phản hồi từ bạn！