ลบบรรทัดที่ซ้ำกันออกจากไฟล์

ฉันกำลังสร้างพจนานุกรมของรหัสผ่านที่ใช้บ่อยที่สุดซึ่งเป็นที่นิยมหรือใช้บ่อยที่สุดโดยผู้ใช้ (…อย่าถามว่าทำไม… HAHAHA) สำหรับสิ่งนี้ฉันกำลังรับข้อความจากพจนานุกรมอื่น ๆ ฯลฯ แต่ฉันพบว่าตัวเองอยู่ในสถานการณ์ที่มีรหัสผ่านที่ซ้ำกันจำนวนมากและฉันจำเป็นต้องกำจัดบรรทัดที่ซ้ำกัน

กล่าวอีกนัยหนึ่งเช่น ... เรามีไฟล์ต่อไปนี้: รหัสผ่าน. txt

และเนื้อหาคือ:

asdasd
lola
ความรัก
asdasd
หน้าต่าง
ผู้ดูแลระบบ
ลินุกซ์
asdasd
ความรัก

 อย่างที่เราเห็นเราได้ทำซ้ำ«ความรัก» Y «asdasd« 3 ครั้งหลัง จะลบบรรทัดที่ซ้ำกันได้อย่างไร?

ทำได้ง่ายด้วยคำสั่งนี้:

cat pass.txt | sort | uniq > pass-listos.txt

สิ่งนี้จะสร้างไฟล์ชื่อ pass-ready.txt ซึ่งจะประกอบด้วย:

ผู้ดูแลระบบ
asdasd
ลินุกซ์
lola
ความรัก
หน้าต่าง

คำสั่งทำอะไรง่ายมาก ...

  1. แมว pass.txt - »แสดงเนื้อหาของไฟล์
  2. ประเภท - »จัดเรียงเนื้อหาตามตัวอักษร
  3. มีเอกลักษณ์ - »กำจัดบรรทัดที่ซ้ำกัน
  4. > pass-ready.txt - »ผลลัพธ์ของคำสั่งก่อนหน้าใส่ไว้ในไฟล์ pass-ready.txt (ซึ่งมันไม่มีอยู่จริงจะสร้างมันขึ้นมา)

มันง่ายมาก ... ฉันเพิ่งค้นพบคำสั่งนั้น ประเภท ใช่มันดีมาก ... แต่ร่วมกับ มีเอกลักษณ์พวกเขาเป็นอัญมณีแห่งศิลปะ😀

ฉันหวังว่าคุณจะได้รับประโยชน์

ความนับถือ

วอลล์เปเปอร์: หากคุณต้องการดาวน์โหลดวอลเปเปอร์«ฉันรัก #! / bin / bash"นี่คือลิงค์:

ดาวน์โหลด Wallpaper

แสดงความคิดเห็นของคุณ

อีเมล์ของคุณจะไม่ถูกเผยแพร่ ช่องที่ต้องการถูกทำเครื่องหมายด้วย *

*

*

  1. ผู้รับผิดชอบข้อมูล: Miguel ÁngelGatón
  2. วัตถุประสงค์ของข้อมูล: ควบคุมสแปมการจัดการความคิดเห็น
  3. ถูกต้องตามกฎหมาย: ความยินยอมของคุณ
  4. การสื่อสารข้อมูล: ข้อมูลจะไม่ถูกสื่อสารไปยังบุคคลที่สามยกเว้นตามข้อผูกพันทางกฎหมาย
  5. การจัดเก็บข้อมูล: ฐานข้อมูลที่โฮสต์โดย Occentus Networks (EU)
  6. สิทธิ์: คุณสามารถ จำกัด กู้คืนและลบข้อมูลของคุณได้ตลอดเวลา

  1.   คาร์ลอ dijo

    คุณยังสามารถใช้ sort -u

    ขอแสดงความยินดีกับบล็อกฉันรักมัน!

    1.    KZKG ^ กาอาระ dijo

      ช่ายยย.
      ไม่มีอะไรขอบคุณมากสำหรับการแสดงความคิดเห็น😀

      ยินดีต้อนรับ😉
      ความนับถือ

  2.   ดิเอโก dijo

    ปัญหาคือมันเปลี่ยนลำดับของคำมันใช้งานได้ ... แต่สุดท้ายผลลัพธ์ก็แตกต่างจากต้นฉบับมากตามลำดับ (ซึ่งในบางกรณีมันก็สำคัญ)

    1.    KZKG ^ กาอาระ dijo

      ใช่แน่นอนสิ่งนี้เรียงลำดับคำตามตัวอักษรดังนั้นหากต้องการเนื้อหาโดยไม่มีรูปแบบต่างๆวิธีนี้จึงไม่ใช่วิธีที่ดีที่สุด

    2.    คาร์ลอ dijo

      อย่าคาดคั้นจะเกิดอะไรขึ้นถ้าคุณไม่ใส่คำสั่ง sort? โปรดคิดอีกนิดและอย่าเคี้ยวทุกอย่าง

      cat pass.txt | uniq> pass-ready.txt

      1.    เอลิอูเบอร์ dijo

        ไม่ได้ผลฉันลองแล้ว

      2.    เมล็ดข้าว dijo

        ไม่ทำงานเนื่องจากบรรทัด "ซ้ำ" ต้องต่อเนื่องกัน

  3.   ไม่มีชื่อ dijo

    ขอบคุณ

    มันมีประโยชน์มาก

  4.   กิสการ์ด dijo

    ดีมาก! วิธีแก้ปัญหาที่ง่ายและชัดเจน ฉันชอบอะไรแบบนั้น🙂
    ฉันต้องยอมรับว่าฉันได้ทำบางอย่างใน Python แต่วิธีนี้ใช้ได้ดี

    1.    KZKG ^ กาอาระ dijo

      กราเซีย ^ - ^

  5.   โน่ dijo

    สวัสดี! ดีมาก!
    ฉันมีคำถามกรุณา
    มันจะได้ผลสำหรับฉันสำหรับตัวอย่างต่อไปนี้:
    ABCD1111
    ป้องกัน 2222 45455
    ABCD1111
    ป้องกัน 2222

    แถวเหมือนกัน แต่มีช่องว่างและอักขระอีกสองสามตัว ... นี่ตรวจสอบคำเดียวกันหรือเปล่า หรือทางไลน์? ฉันอธิบาย?
    จากนี้ไปฉันขอบคุณมาก
    กอด

    1.    KZKG ^ กาอาระ dijo

      สวัสดีว่าเป็นอย่างไร
      อย่างที่ฉันเห็นนี่เป็นการเปรียบเทียบเส้นและไม่ใช่คอลัมน์ดังนั้นในตัวอย่างที่คุณให้ฉันสิ่งนี้จะลบบรรทัดที่ 1 หรือ 3 บรรทัดที่ 2 และ 4 แม้ว่าจะเหมือนกันเกือบทั้งหมด แต่ก็ไม่เหมือนกัน 100% เนื่องจาก มีคอลัมน์ที่แตกต่างกัน 😉

      ขอบคุณสำหรับความคิดเห็น ^ - ^

      1.    ทีโน dijo

        ต้องขอบคุณคุณ!! ก่อนที่จะใช้เวลาหนึ่งชั่วโมง oracle ในการกำจัดรายการที่ซ้ำกัน ... ตอนนี้ใช้เวลา 30 วินาทีในการเรียงลำดับแมว !!

  6.   เมก้าเบดเดอร์ dijo

    ฉันต้องการมันใน PHP: S

    1.    KZKG ^ กาอาระ dijo

      เอ่อ ... ฉันเป็น PHP ฉันสั้นมากฉันไม่ใช่โปรแกรมเมอร์จริงๆ🙁

      ฉันขอโทษ

    2.    Brunocascio dijo

      สำหรับ php มี array_unique (…) ในเอกสาร PHP อย่างเป็นทางการคุณจะพบฟังก์ชันที่สำคัญและมีประสิทธิภาพมากมาย

      เกี่ยวกับการจัดเรียงเว้นแต่คุณต้องการมันก็ไม่จำเป็น ... เวลาในการดำเนินการและหน่วยความจำจะเสียไปโดยเปล่าประโยชน์ (สำหรับสิ่งที่ทำในโพสต์)

      ทักทาย!

  7.   เกินบรรยาย dijo

    ว้าว !! พจนานุกรมที่จะใช้เป็นสัตว์เดรัจฉาน !! XD

  8.   Gustavo dijo

    การรวมกันของการจัดเรียงกับ uniq ดีมาก! มันช่วยฉันได้มากในการลบบรรทัดที่ซ้ำกัน

    กราเซีย

  9.   Gustavo dijo

    ความคิดเห็นของ Carlos แม้จะมีความหยิ่งยโส แต่ก็ไม่ถูกต้อง เขาบอกว่าให้ใช้:

    cat pass.txt | uniq> pass-ready.txt

    อย่างไรก็ตามสิ่งที่จำเป็นต้องมีของ uniq คือไฟล์ถูกเรียงลำดับ คุณควรจะคิดเกี่ยวกับเรื่องนี้อีกเล็กน้อยหรือแจ้งตัวเองก่อน

  10.   เอลิอูเบอร์ dijo

    ดีมากคุณช่วยฉันได้มากเวลาวิ่งทุบตี

  11.   หินเหล็กไฟ dijo

    awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
    ด้วยวิธีนี้เส้นจะถูกกำจัดโดยไม่ต้องสั่งซื้อ

  12.   มินิมินิโย dijo

    ขอบคุณมากสำหรับการสนับสนุน!

    แม้ว่ามันจะเจ๋งมากที่สามารถทำให้มันไม่เหมือนใครโดยไม่ต้องเปลี่ยนลำดับ แต่เดี๋ยวก่อนคำสั่งที่ง่ายและมีประโยชน์!

  13.   เฟลิเป้กูเตียร์เรซ dijo

    ขอบคุณมันช่วยฉันได้มาก😉

  14.   เออร์เนส dijo

    ฉันมีสิ่งนี้
    C000006158880201502051056088364 C00-06158880
    C000007601673201503051056088364 C00-07601673
    C000008659304201504051056088364 C00-08659304
    T 0809074070562015120818144287185REAÑOรูบี้อสเอมิเลียดอริส
    T 0809092979972016010818144287185REAÑOรูบี้อสเอมิเลียดอริส
    C000005398451201501231044214375 C00-05398451
    C000007674996201503051000000286 C00-07674996
    C000008514288201504051000000463 C00-08514288
    C000011613498201506051056088070 C00-11613498

    ฉันจะวาดเฉพาะรายการที่ซ้ำกันต่อสมาชิกในไฟล์และปล่อยให้ไฟล์ที่ไม่ซ้ำกันในไฟล์อื่นได้อย่างไร

    สมาชิกอยู่ในตำแหน่งที่ 23 (10 ตำแหน่ง)

  15.   เฟอร์นันโด dijo

    เรียง -u -k 1,1 File.txt> result.txt

    ซึ่งจะจัดเรียงไฟล์ตามฟิลด์แรก

  16.   ฉันคือดิเอโก dijo

    2020 และยังคงให้บริการขอบคุณมาก!

  17.   ซาร่าห์ dijo

    Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều ไฟล์ text trong Linux หรือ Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiáều dòng ไฟล์ ไฟล์: File 1 của tôi co 5 dòng, file 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 thòng only bgith 2 ไฟล์ .
    Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text từ điển rất ư là nhiều ký, chẳnh hạn. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows เครือข่าย 🙂 Hy vọng nhận được phản hồi từ bạn!