從文件中刪除重複的行

Alejandro (a.k.a KZKG^Gaara)

1分鐘

我正在製作一個字典，其中包含用戶最常用的密碼、流行的密碼或最常用的密碼（...別問為什麼...哈哈哈），為此，我從其他詞典等中獲取文本，但是，我發現自己處於有許多重複密碼的情況，並且我需要消除重複行。

也就是說，例如...我們有以下文件： 通行證.txt

其內容是：

asdasda
蘿拉
愛
asdasda
窗口
管理員
Linux的
asdasda
愛

 正如我們所看到的，我們重複了 «愛»ÿ«asdasda«，後者3次。 如何刪除重複行？

做到這一點很簡單，使用以下命令：

cat pass.txt | sort | uniq > pass-listos.txt

這將生成一個名為的文件 通過準備.txt 其中將包含：

管理員
asdasda
Linux的
蘿拉
愛
窗口

該命令的作用非常簡單......

  1. 貓通行證.txt -» 列出文件的內容。
  2. 分類 -» 按字母順序對內容進行排序。
  3. 優衣庫 -» 刪除重複行。
  4. > 通行證準備.txt -» 前面命令的結果，將其放入文件 pass-listos.txt (因為它不存在，所以會創建它)

就這麼簡單...我剛剛發現命令 分類 是的，非常好...但是，連同 優衣庫，它們是藝術瑰寶😀

希望對您有所幫助。

問候

牆紙：如果你想下載壁紙«我愛#!/bin/bash“ 鏈接在這裡：

下載壁紙

發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責數據：MiguelÁngelGatón
  2. 數據用途：控制垃圾郵件，註釋管理。
  3. 合法性：您的同意
  4. 數據通訊：除非有法律義務，否則不會將數據傳達給第三方。
  5. 數據存儲：Occentus Networks（EU）託管的數據庫
  6. 權利：您可以隨時限制，恢復和刪除您的信息。

  1.   卡洛斯 他說：
    前 12年

    您還可以使用 sort -u。

    祝賀博客，我喜歡它！

    回复卡洛斯
    1.    KZKG ^ Gaara 他說：
      前 12年

      是的，沒錯。
      沒什麼，非常感謝您的評論😀

      歡迎😉
      問候

      回复KZKG ^ Gaara
  2.   迭戈 他說：
    前 12年

    問題是它改變了單詞的順序，它有效......但最終結果與原始的順序有很大不同（這在某些情況下可能很重要）

    回复迭戈
    1.    KZKG ^ Gaara 他說：
      前 12年

      是的，實際上，這按字母順序對單詞進行排序，因此如果需要內容沒有變化，那麼此解決方案不是理想的解決方案。

      回复KZKG ^ Gaara
    2.    卡洛斯 他說：
      前 11年

      不廢話，如果你突然想到不輸入排序命令怎麼辦？ 請多思考一下，不要把一切都嚼碎。

      貓通行證.txt | uniq > pass-ready.txt

      回复卡洛斯
      1.    埃利尤伯 他說：
        前 9年

        沒用，我已經試過了

        回复 埃利尤伯
      2.    鮑勃 他說：
        前 6年

        不起作用，因為“重複”行必須是連續的

        回复鮑勃
  3.   九分 他說：
    前 12年

    謝謝

    這很有用

    回复壬am
  4.   Giskard 他說：
    前 12年

    非常好！ 一個簡單明了的解決方案。 我喜歡這樣的事情🙂
    我不得不承認我會用 Python 做一些事情，但這個解決方案非常好。

    回复吉斯卡德
    1.    KZKG ^ Gaara 他說：
      前 12年

      謝謝 ^ - ^

      回复KZKG ^ Gaara
  5.   蒂諾 他說：
    前 11年

    你好！ 非常好！
    我有一個問題請教
    對於以下示例，它對我有用：
    第 1111 章
    DEFG 2222 45455
    第 1111 章
    DEFG 2222

    行是相同的，但有空格和更多字符......這是否檢查相同的單詞？ 還是按線路？ 我解釋？
    我提前非常感謝你。
    一個擁抱

    回复蒂諾
    1.    KZKG ^ Gaara 他說：
      前 11年

      您好這樣，
      正如我所看到的，這比較的是行而不是列，因此在您給我的示例中，這將刪除第一行或第三、第二和第四行，即使它們幾乎相同，但它們並不是 1% 相同，因為它們有差異欄。 😉

      感謝您的評論^-^

      回复KZKG ^ Gaara
      1.    蒂諾 他說：
        前 11年

        謝謝你！！ 之前oracle需要一個小時來消除重複......現在貓排序需要30秒！

        回复 蒂諾
  6.   超級貝德 他說：
    前 11年

    我需要 PHP 版本：S

    回复 MegaBedder 的帖子
    1.    KZKG ^ Gaara 他說：
      前 11年

      呃...我對 PHP 的了解非常非常短，我不是一個真正的程序員🙁

      對不起

      回复KZKG ^ Gaara
    2.    布魯諾卡西奧 他說：
      前 11年

      對於 php，在 PHP 官方文檔中有 array_unique(...)，您會發現許多重要且高效的函數。

      關於排序，除非需要，否則沒有必要……浪費執行時間和內存。 （對於帖子中所做的事情）

      的問候！

      回复brunacacio
  7.   極客 他說：
    前 11年

    哇！！ 一本用作暴力破解的字典！！XD

    回复frikilui
  8.   古斯塔沃 他說：
    前 11年

    sort與uniq的結合非常好！ 它對我刪除重複行有很大幫助。

    謝謝

    回復古斯塔沃
  9.   古斯塔沃 他說：
    前 11年

    卡洛斯的評論儘管傲慢，但卻是無效的。 他說使用：

    貓通行證.txt | uniq > pass-ready.txt

    然而，uniq 的先決條件是文件已排序。 你應該多考慮一下或者早點告訴自己。

    回復古斯塔沃
  10.   埃利尤伯 他說：
    前 9年

    非常好，你為我節省了很多運行 bash 的時間

    回复 埃利尤伯
  11.   弗萊德·燧石 他說：
    前 9年

    awk '!array_temp[$0]++' pass.txt > pass-ready.txt
    這樣，無需訂購即可消除線路。

    回复 弗萊德·弗林特斯通 的帖子
  12.   迷你迷你 他說：
    前 8年

    非常感謝您的貢獻！

    雖然能夠在不改變順序的情況下使其獨一無二是很酷的，但是嘿，這是一個簡單而有用的命令！

    回复miniminiyo
  13.   菲利普·古鐵雷斯 他說：
    前 8年

    謝謝你，對我幫助很大😉

    回复 費利佩·古鐵雷斯
  14.   埃內斯托 他說：
    前 8年

    我有這個
    C000006158880201502051056088364 C00-06158880
    C000007601673201503051056088364 C00-07601673
    C000008659304201504051056088364 C00-08659304
    T 0809074070562015120818144287185雷奧·魯比諾斯·艾米利亞·多麗絲
    T 0809092979972016010818144287185雷奧·魯比諾斯·艾米利亞·多麗絲
    C000005398451201501231044214375 C00-05398451
    C000007674996201503051000000286 C00-07674996
    C000008514288201504051000000463 C00-08514288
    C000011613498201506051056088070 C00-11613498

    如何讓它在一個文件中僅繪製每個訂閱者的重複項，並將那些不重複的項保留在另一個文件中？

    訂戶位於第 23 位（10 個位置）

    回复ernesto
  15.   費爾南多 他說：
    前 8年

    排序-u -k 1,1 文件.txt > 結果.txt

    這按第一個字段對文件進行排序

    回复費爾南多
  16.   我是迭戈 他說：
    前 4年

    2020年了，還在服務，非常感謝！

    回复 SoyDiego
  17.   薩拉 他說：
    前 3年

    文件文本是在 Linux 還是 Windows 中使用的？ 將文件從文件中刪除打開 các 文件。 Ví dụ : 文件 1 của tôi có 5 dòng, 文件 2 có 15 dòng ( có 2 dòng trùng lặp với File 1. Tôi muốn có kết quả , File 1 vẫn giữ nguyên 5 dòng, File 2 thì sẽ loại bỏ 2 dòng giống 文件1.
    Như bạn biết có nhiều lí do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text từ điển rất ư là nhiều ký, chẳng hạn nh ư 搖滾你。 您可以在 Windows 上使用它，也可以在 Windows 上使用它。 🙂 Hy vọng nhận được phản hồi từ bạn ！

    回复莎拉