אני מכין מילון של הסיסמאות הנפוצות ביותר, הנפוצות או הנפוצות ביותר על ידי משתמשים (... אל תשאל מדוע ... HAHAHA), בשביל זה אני לוקח טקסט ממילונים אחרים וכו ', אבל אני מוצא את עצמי במצב שיש סיסמאות כפולות רבות, ואני צריך לבטל שורות כפולות.
במילים אחרות, למשל ... יש לנו את הקובץ הבא: לעבור.טקסט
ותוכנו הוא:
Asdasd
לולה
אהבה
Asdasd
חלונות
מנהל
לינוקס
Asdasd
אהבה
כפי שאנו רואים, חזרנו על עצמנו «אהבה»WonderfulAsdasd«, האחרון 3 פעמים. כיצד להסיר שורות כפולות?
לעשות את זה פשוט עם הפקודה הזו:
cat pass.txt | sort | uniq > pass-listos.txt
זה ייצור קובץ שנקרא pass-ready.txt אשר יכיל:
מנהל
Asdasd
לינוקס
לולה
אהבה
חלונות
מה שהפקודה עושה הוא פשוט מאוד ...
- חתול pass.txt - »ציין את תוכן הקובץ.
- sort - »מיין את התוכן לפי אלפבית.
- ייחודי - »בטל שורות כפולות.
- > pass-ready.txt - »התוצאה של הפקודות הקודמות, הכניסו אותה לקובץ pass-ready.txt (שכפי שהוא לא קיים, הוא ייצור אותו)
זה כל כך פשוט ... פשוט גיליתי את הפקודה sort כן, זה טוב מאוד ... אבל יחד עם ייחודי, הם תכשיט של אמנות 😀
אני מקווה שעזרת.
לגבי
אתה יכול גם להשתמש במיון -ו.
מזל טוב על הבלוג, אני אוהב את זה!
כן בטח.
כלום, תודה רבה על תגובה 😀
ברוך הבא 😉
לגבי
הבעיה בכך היא שזה משנה את סדר המילים, זה עובד ... אבל בסופו של דבר התוצאה שונה בהרבה מהמקור בסדר (שאולי במקרה זה חשוב)
כן, אכן זה מסדר את המילים באלפביתיות, כך שאם היה צורך בתוכן ללא וריאציות, אז פתרון זה אינו האידיאלי.
אל תתברג, מה אם יעלה על דעתך לא לשים את פקודת המיון? בבקשה תחשוב קצת יותר ולא שהכל ללעוס.
חתול pass.txt | uniq> pass-ready.txt
זה לא עובד, ניסיתי את זה
לא עובד מכיוון ששורות "חוזרות" חייבות להיות רצופות
תודה
זה די שימושי
טוב מאוד! פיתרון פשוט וברור. אני אוהב דברים כאלה 🙂
אני חייב להודות שהייתי עושה משהו בפייתון אבל הפיתרון הזה בסדר.
תודה ^ - ^
שלום! טוב מאוד!
יש לי שאילתה בבקשה
זה יעבוד בשבילי לדוגמא הבאה:
ABCD 1111
DEFG 2222 45455
ABCD 1111
DEFG 2222
השורות זהות אך יש להן רווחים ועוד כמה תווים ... האם זה בודק את אותה מילה? או לפי קו? אני מסביר?
מעכשיו אני מודה לך המון.
חיבוק
שלום כזה,
כפי שראיתי, זה משווה בין שורות ולא עמודות, כך שבדוגמא שאתה נותן לי זה יסיר את השורה הראשונה או את השורה השלישית, השנייה והרביעית למרות שהם כמעט זהים, הם לא זהים ב 1% מכיוון שהם יש עמודת הבדל. 😉
תודה על ההערה ^ - ^
תודה לך !! לפני שלקח שעה לאורקל לחסל כפילויות ... עכשיו זה לוקח 30 שניות עם סוג החתול !!
אני דורש זאת ב- PHP: S
Uff ... אני משתמש ב- PHP כי אני מאוד מאוד נמוך, אני לא ממש מתכנת
אני מצטער.
עבור php יש array_unique (...) בתיעוד הרשמי של PHP תוכלו למצוא פונקציות חשובות ויעילות רבות.
לגבי המיון, אלא אם כן אתה זקוק לו, אין צורך ... זמן ביצוע וזיכרון מבוזבזים. (על מה שנעשה בפוסט)
ברכות!
וואו !! מילון שישמש ככוח מוחלט !! XD
טוב מאוד השילוב של מיון עם יוניק! זה עזר לי מאוד להסיר שורות כפולות.
תודה
ההערה של קרלוס, למרות יהירותו, אינה תקפה. הוא אומר להשתמש:
חתול pass.txt | uniq> pass-ready.txt
עם זאת תנאי מוקדם של uniq הוא שהקובץ יוזמן. היה צריך לחשוב על זה קצת יותר או לשאול לפני כן.
טוב מאוד, חסכת לי המון זמן בהפעלה שלי
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
עם זאת השורות מסולקות מבלי להזמין.
תודה רבה על התרומה!
אמנם יהיה מגניב להיות מסוגל להפוך אותו לייחודי מבלי לשנות את הסדר, אבל היי, פקודה קלה ושימושית!
תודה, זה עזר לי מאוד 😉
יש לי את זה
C000006158880201502051056088364 C00-06158880
C000007601673201503051056088364 C00-07601673
C000008659304201504051056088364 C00-08659304
T 0809074070562015120818144287185 REAÑO RUBIÑOS EMILIA DORIS
T 0809092979972016010818144287185 REAÑO RUBIÑOS EMILIA DORIS
C000005398451201501231044214375 C00-05398451
C000007674996201503051000000286 C00-07674996
C000008514288201504051000000463 C00-08514288
C000011613498201506051056088070 C00-11613498
איך אני מצליח לצייר רק את הכפילויות למנוי בקובץ ולהשאיר את אלה שאינם כפילויות באחר?
המנוי נמצא בתפקיד 23 (10 תפקידים)
מיין -u -k 1,1 File.txt> result.txt
זה ממיין את הקובץ לפי השדה הראשון
2020 ועדיין מגישים, תודה רבה!
B con co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều text text trong Linux או Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa קובץ Các. Ví dụ: קובץ 1 của tôi co 5 dòng, file 2 co 15 dòng (co 2 dòng trùng lặp với File 1. Tôi muốn co kết quả, File 1 vẫn giữ nguyên 5 dòng, File 2 thì only bỏ 2 dòng giống file 1 .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau, vì những text file từ điển rất ư là nhiều ký, chẳng hạn như Rockyou. Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!