ฉันกำลังสร้างพจนานุกรมของรหัสผ่านที่ใช้บ่อยที่สุดซึ่งเป็นที่นิยมหรือใช้บ่อยที่สุดโดยผู้ใช้ (…อย่าถามว่าทำไม… HAHAHA) สำหรับสิ่งนี้ฉันกำลังรับข้อความจากพจนานุกรมอื่น ๆ ฯลฯ แต่ฉันพบว่าตัวเองอยู่ในสถานการณ์ที่มีรหัสผ่านที่ซ้ำกันจำนวนมากและฉันจำเป็นต้องกำจัดบรรทัดที่ซ้ำกัน
กล่าวอีกนัยหนึ่งเช่น ... เรามีไฟล์ต่อไปนี้: รหัสผ่าน. txt
และเนื้อหาคือ:
asdasd
lola
ความรัก
asdasd
หน้าต่าง
ผู้ดูแลระบบ
ลินุกซ์
asdasd
ความรัก
อย่างที่เราเห็นเราได้ทำซ้ำ«ความรัก» Y «asdasd« 3 ครั้งหลัง จะลบบรรทัดที่ซ้ำกันได้อย่างไร?
ทำได้ง่ายด้วยคำสั่งนี้:
cat pass.txt | sort | uniq > pass-listos.txt
สิ่งนี้จะสร้างไฟล์ชื่อ pass-ready.txt ซึ่งจะประกอบด้วย:
ผู้ดูแลระบบ
asdasd
ลินุกซ์
lola
ความรัก
หน้าต่าง
คำสั่งทำอะไรง่ายมาก ...
- แมว pass.txt - »แสดงเนื้อหาของไฟล์
- ประเภท - »จัดเรียงเนื้อหาตามตัวอักษร
- มีเอกลักษณ์ - »กำจัดบรรทัดที่ซ้ำกัน
- > pass-ready.txt - »ผลลัพธ์ของคำสั่งก่อนหน้าใส่ไว้ในไฟล์ pass-ready.txt (ซึ่งมันไม่มีอยู่จริงจะสร้างมันขึ้นมา)
มันง่ายมาก ... ฉันเพิ่งค้นพบคำสั่งนั้น ประเภท ใช่มันดีมาก ... แต่ร่วมกับ มีเอกลักษณ์พวกเขาเป็นอัญมณีแห่งศิลปะ😀
ฉันหวังว่าคุณจะได้รับประโยชน์
ความนับถือ
คุณยังสามารถใช้ sort -u
ขอแสดงความยินดีกับบล็อกฉันรักมัน!
ช่ายยย.
ไม่มีอะไรขอบคุณมากสำหรับการแสดงความคิดเห็น😀
ยินดีต้อนรับ😉
ความนับถือ
ปัญหาคือมันเปลี่ยนลำดับของคำมันใช้งานได้ ... แต่สุดท้ายผลลัพธ์ก็แตกต่างจากต้นฉบับมากตามลำดับ (ซึ่งในบางกรณีมันก็สำคัญ)
ใช่แน่นอนสิ่งนี้เรียงลำดับคำตามตัวอักษรดังนั้นหากต้องการเนื้อหาโดยไม่มีรูปแบบต่างๆวิธีนี้จึงไม่ใช่วิธีที่ดีที่สุด
อย่าคาดคั้นจะเกิดอะไรขึ้นถ้าคุณไม่ใส่คำสั่ง sort? โปรดคิดอีกนิดและอย่าเคี้ยวทุกอย่าง
cat pass.txt | uniq> pass-ready.txt
ไม่ได้ผลฉันลองแล้ว
ไม่ทำงานเนื่องจากบรรทัด "ซ้ำ" ต้องต่อเนื่องกัน
ขอบคุณ
มันมีประโยชน์มาก
ดีมาก! วิธีแก้ปัญหาที่ง่ายและชัดเจน ฉันชอบอะไรแบบนั้น🙂
ฉันต้องยอมรับว่าฉันได้ทำบางอย่างใน Python แต่วิธีนี้ใช้ได้ดี
กราเซีย ^ - ^
สวัสดี! ดีมาก!
ฉันมีคำถามกรุณา
มันจะได้ผลสำหรับฉันสำหรับตัวอย่างต่อไปนี้:
ABCD1111
ป้องกัน 2222 45455
ABCD1111
ป้องกัน 2222
แถวเหมือนกัน แต่มีช่องว่างและอักขระอีกสองสามตัว ... นี่ตรวจสอบคำเดียวกันหรือเปล่า หรือทางไลน์? ฉันอธิบาย?
จากนี้ไปฉันขอบคุณมาก
กอด
สวัสดีว่าเป็นอย่างไร
อย่างที่ฉันเห็นนี่เป็นการเปรียบเทียบเส้นและไม่ใช่คอลัมน์ดังนั้นในตัวอย่างที่คุณให้ฉันสิ่งนี้จะลบบรรทัดที่ 1 หรือ 3 บรรทัดที่ 2 และ 4 แม้ว่าจะเหมือนกันเกือบทั้งหมด แต่ก็ไม่เหมือนกัน 100% เนื่องจาก มีคอลัมน์ที่แตกต่างกัน 😉
ขอบคุณสำหรับความคิดเห็น ^ - ^
ต้องขอบคุณคุณ!! ก่อนที่จะใช้เวลาหนึ่งชั่วโมง oracle ในการกำจัดรายการที่ซ้ำกัน ... ตอนนี้ใช้เวลา 30 วินาทีในการเรียงลำดับแมว !!
ฉันต้องการมันใน PHP: S
เอ่อ ... ฉันเป็น PHP ฉันสั้นมากฉันไม่ใช่โปรแกรมเมอร์จริงๆ🙁
ฉันขอโทษ
สำหรับ php มี array_unique (…) ในเอกสาร PHP อย่างเป็นทางการคุณจะพบฟังก์ชันที่สำคัญและมีประสิทธิภาพมากมาย
เกี่ยวกับการจัดเรียงเว้นแต่คุณต้องการมันก็ไม่จำเป็น ... เวลาในการดำเนินการและหน่วยความจำจะเสียไปโดยเปล่าประโยชน์ (สำหรับสิ่งที่ทำในโพสต์)
ทักทาย!
ว้าว !! พจนานุกรมที่จะใช้เป็นสัตว์เดรัจฉาน !! XD
การรวมกันของการจัดเรียงกับ uniq ดีมาก! มันช่วยฉันได้มากในการลบบรรทัดที่ซ้ำกัน
กราเซีย
ความคิดเห็นของ Carlos แม้จะมีความหยิ่งยโส แต่ก็ไม่ถูกต้อง เขาบอกว่าให้ใช้:
cat pass.txt | uniq> pass-ready.txt
อย่างไรก็ตามสิ่งที่จำเป็นต้องมีของ uniq คือไฟล์ถูกเรียงลำดับ คุณควรจะคิดเกี่ยวกับเรื่องนี้อีกเล็กน้อยหรือแจ้งตัวเองก่อน
ดีมากคุณช่วยฉันได้มากเวลาวิ่งทุบตี
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
ด้วยวิธีนี้เส้นจะถูกกำจัดโดยไม่ต้องสั่งซื้อ
ขอบคุณมากสำหรับการสนับสนุน!
แม้ว่ามันจะเจ๋งมากที่สามารถทำให้มันไม่เหมือนใครโดยไม่ต้องเปลี่ยนลำดับ แต่เดี๋ยวก่อนคำสั่งที่ง่ายและมีประโยชน์!
ขอบคุณมันช่วยฉันได้มาก😉
ฉันมีสิ่งนี้
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185REAÑOรูบี้อสเอมิเลียดอริส
T 0809092979972016010818144287185REAÑOรูบี้อสเอมิเลียดอริส
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
ฉันจะวาดเฉพาะรายการที่ซ้ำกันต่อสมาชิกในไฟล์และปล่อยให้ไฟล์ที่ไม่ซ้ำกันในไฟล์อื่นได้อย่างไร
สมาชิกอยู่ในตำแหน่งที่ 23 (10 ตำแหน่ง)
เรียง -u -k 1,1 File.txt> result.txt
ซึ่งจะจัดเรียงไฟล์ตามฟิลด์แรก
2020 และยังคงให้บริการขอบคุณมาก!
Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều ไฟล์ text trong Linux หรือ Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiáều dòng ไฟล์ ไฟล์: File 1 của tôi co 5 dòng, file 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 thòng only bgith 2 ไฟล์ .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những file text từ điển rất ư là nhiều ký, chẳnh hạn. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows เครือข่าย 🙂 Hy vọng nhận được phản hồi từ bạn!