ファイルから重複行を削除する

私は、ユーザーが最もよく使用する、または最も頻繁に使用するパスワードの辞書を作成しています(…理由を聞かないで…ハハハ)、このために他の辞書などからテキストを取っていますが、パスワードの重複が多く、重複行を排除する必要がある状況にあります。

言い換えると、たとえば...次のファイルがあります。 pass.txt

そしてその内容は次のとおりです。

asdasd
ローラ

asdasd
ウィンドウズ
管理人
linuxの
asdasd

 ご覧のとおり、«を繰り返しました"Y"asdasd«、後者は3回。 重複する行を削除するにはどうすればよいですか?

これを行うには、次のコマンドを使用するだけです。

cat pass.txt | sort | uniq > pass-listos.txt

これにより、というファイルが生成されます pass-ready.txt これには以下が含まれます:

管理人
asdasd
linuxの
ローラ

ウィンドウズ

コマンドの機能は非常に単純です...

  1. 猫パス.txt -»ファイルの内容を一覧表示します。
  2. sort -»コンテンツをアルファベット順に並べ替えます。
  3. uniq -»重複する行を削除します。
  4. > pass-ready.txt -»前のコマンドの結果、ファイルpass-ready.txt(それは存在しないので、それを作成します)

それはとても簡単です...私はちょうどコマンドが sort はい、それはとても良いです...しかし、一緒に uniq、彼らは芸術の宝石です😀

お役に立てば幸いです。

よろしく

壁紙:壁紙をダウンロードしたい場合«I Love#!/ Bin / bash»ここにリンクがあります:

壁紙をダウンロード

27コメント、あなたのコメントを残してください

コメントを残す

あなたのメールアドレスが公開されることはありません。 必須フィールドには付いています *

*

*

  1. データの責任者:MiguelÁngelGatón
  2. データの目的:SPAMの制御、コメント管理。
  3. 正当化:あなたの同意
  4. データの伝達:法的義務がある場合を除き、データが第三者に伝達されることはありません。
  5. データストレージ:Occentus Networks(EU)がホストするデータベース
  6. 権利:いつでも情報を制限、回復、削除できます。

  1.   カルロス

    sort-uを使用することもできます。

    ブログおめでとう、大好きです!

    1.    KZKG ^我愛羅

      そうだね。
      何もありません、コメントありがとうございます😀

      ようこそ😉
      よろしく

  2.   ディエゴ

    それに関する問題は、それが単語の順序を変更し、それが機能することです...しかし、最終的には、結果は元の順序とは大きく異なります(場合によっては重要です)

    1.    KZKG ^我愛羅

      はい、確かに、これは単語をアルファベット順に並べます。したがって、コンテンツがバリエーションなしで必要な場合、このソリューションは理想的なソリューションではありません。

    2.    カルロス

      ぐちゃぐちゃにしないでください、ソートコマンドを入れないことがあなたに起こったらどうしますか? もう少し考えて、すべてをかみ砕かないでください。

      cat pass.txt | uniq> pass-ready.txt

      1.    エリウバー

        それは動作しません、私はそれを試しました

      2.    ボブ

        「繰り返される」行は連続している必要があるため、機能しません

  3.   名前なし

    感謝

    とても便利です

  4.   ギスカード

    とても良い! シンプルで明確なソリューション。 私はそのようなものが好きです🙂
    私はPythonで何かをしたであろうことを認めなければなりませんが、この解決策は問題ありません。

    1.    KZKG ^我愛羅

      感謝 ^ - ^

  5.   こつ

    こんにちは! とても良い!
    質問があります
    次の例ではうまくいくでしょう:
    ABCD1111
    デフ 2222 45455
    ABCD1111
    デフ2222

    行は同じですが、スペースとさらにいくつかの文字があります...これは同じ単語をチェックしますか? または行で? 私が説明します?
    これからもよろしくお願いします。
    抱擁

    1.    KZKG ^我愛羅

      こんにちは、
      私が見たように、これは列ではなく行を比較するので、あなたが私に与える例では、これは1行目または3行目、2行目と4行目のいずれかを削除しますが、それらはほぼ同一ですが、差分列。 😉

      コメントありがとうございます^-^

      1.    TINO

        おかげさまで!! オラクルが重複を排除するのに30時間かかる前に...今では猫の並べ替えでXNUMX秒かかります!!

  6.   メガベダー

    PHPで必要です:S

    1.    KZKG ^我愛羅

      Uff ...私はPHPです、私は非常に短いです、私は実際にはプログラマーではありません🙁

      ごめんなさい。

    2.    ブルノカシオ

      phpの場合、公式のPHPドキュメントにarray_unique(…)があり、多くの重要で効率的な関数があります。

      ソートに関しては、必要がなければ必要ありません…実行時間とメモリが無駄になります。 (投稿で行われていることについて)

      ご挨拶!

  7.   オタク

    ワオ !! ブルートフォースとして使用する辞書!! XD

  8.   グスタボ

    sortとuniqの組み合わせはとても良いです! 重複する行を削除するのに大いに役立ちました。

    感謝

  9.   グスタボ

    カルロスのコメントは、彼の傲慢さにもかかわらず、有効ではありません。 彼は使用すると言います:

    cat pass.txt | uniq> pass-ready.txt

    ただし、uniqの前提条件は、ファイルが順序付けられていることです。 あなたはそれについてもう少し考えたか、前にあなた自身に知らせたはずです。

  10.   エリウバー

    とても良いです、あなたは私のbashを実行する時間をたくさん節約してくれました

  11.   フレッドフリントストーン

    awk '!array_temp [$ 0] ++' pass.txt> pass-ready.txt
    これにより、注文することなく行が削除されます。

  12.   ミニミニヨ

    入力のためにありがとうございました!

    順序を変えずにユニークにできるのはクールですが、ちょっと、簡単で便利なコマンドです!

  13.   フェリペ・グティエレス

    ありがとう、それは私を大いに助けました😉

  14.   エルネスト

    私はこれを持っています
    C000006158880201502051056088364 C00-06158880
    C000007601673201503051056088364 C00-07601673
    C000008659304201504051056088364 C00-08659304
    T0809074070562015120818144287185REAÑORUBIÑOSEMILIADORIS
    T0809092979972016010818144287185REAÑORUBIÑOSEMILIADORIS
    C000005398451201501231044214375 C00-05398451
    C000007674996201503051000000286 C00-07674996
    C000008514288201504051000000463 C00-08514288
    C000011613498201506051056088070 C00-11613498

    サブスクライバーごとの重複のみをファイルにペイントし、重複していないものを別のファイルに残すにはどうすればよいですか?

    加入者は位置23(10ポジション)にいます

  15.   フェルナンド

    sort -u -k 1,1 File.txt> result.txt

    これにより、ファイルが最初のフィールドで並べ替えられます

  16.   私はディエゴです

    2020年も引き続きご利用いただき、誠にありがとうございます!

  17.   サラ

    Bビザスクワット コ th バイ アモア h ゾンビ アザラシ アオウロウ các dòng tr<1xC5><2xC15><2xB1>ung l オスク ラック p c アオア アニッシュ アオウ ファイル テキスト trong Linux または Windows CũngNHUチュオンホップCUA BAN、川崎重工TOI TAOファイルTừđiểnVI TOI嘉NOI糞RA NEN CO KHAnhiềuファイルVA CHACちゃん詐欺nhiềuドンチュンラップgiữaCACファイル。 VIは、DU:ファイル1 CUA土肥の共同5ドン、ファイル2コ2洞(ドンチュンラップVOIファイル1. TOIはKET資格、ファイルXNUMX VANのGluグエンXNUMXドン、ファイルXNUMX THIのみBO XNUMX洞giốngファイルXNUMXを共同ミューオンCO XNUMXを.
    Nhng アザラシ アザラシ アオナギョウ li do chúng ta ko thリーク アオロウ アイオク アオウ オウ、v<XNUMXxCXNUMX><XNUMXxAC> nhng動物 ruhnhi nhau, v<XNUMXxCXNUMX><XNUMXxAC> nhng動物 r uhtah nhi nhi Th特化動物 tãoc tãoi muiuiun thのアモアオク hivii オズィール アオアオウゾウnày bên Windows h 🙂 Hy v バイ アウェー nhクライア クォン マレーシア アザラシ