أقوم بإنشاء قاموس لأكثر كلمات المرور استخدامًا ، وهي كلمات المرور الشائعة أو الأكثر استخدامًا من قبل المستخدمين (... لا تسأل لماذا ... هاهاها) ، لهذا أقوم بأخذ نص من قواميس أخرى وما إلى ذلك ، لكنني أجد نفسي في موقف أن هناك العديد من كلمات المرور المكررة ، وأحتاج إلى إزالة الأسطر المكررة.
بمعنى آخر ، على سبيل المثال ... لدينا الملف التالي: pass.txt
ومحتواه:
ASDASD
لولا
حب
ASDASD
نوافذ
مشرف
لينكس
ASDASD
حب
كما نرى كررنا «حب»Y«ASDASD«، الأخير 3 مرات. كيفية إزالة الخطوط المكررة؟
من السهل القيام بذلك باستخدام هذا الأمر:
cat pass.txt | sort | uniq > pass-listos.txt
سيؤدي هذا إلى إنشاء ملف يسمى تمرير جاهز. txt والتي سوف تحتوي على:
مشرف
ASDASD
لينكس
لولا
حب
نوافذ
ما يفعله الأمر بسيط للغاية ...
- القط pass.txt - »قائمة محتويات الملف.
- sort - »فرز المحتوى أبجديا.
- فريد - »القضاء على الأسطر المكررة.
- > تمرير جاهز - »نتيجة الأوامر السابقة ضعها في ملف pass-ready.txt (الذي ، لأنه غير موجود ، سيخلقه)
الأمر بهذه البساطة ... لقد اكتشفت للتو أن الأمر sort نعم ، إنه جيد جدًا ... ولكن مع فريد، هم جوهرة الفن 😀
أتمنى أن تكون قد ساعدت.
تحياتي
يمكنك أيضًا استخدام الترتيب -u.
تهانينا على المدونة احببتها!
نعم صحيح.
لا شئ شكرا جزيلا على تعليقك 😀
مرحبًا 😉
تحياتي
المشكلة في ذلك أنه يغير ترتيب الكلمات ، فهو يعمل ... ولكن في النهاية تختلف النتيجة كثيرًا عن الأصل في الترتيب (وهو ما قد يكون مهمًا في بعض الحالات)
نعم بالفعل ، هذا يرتب الكلمات أبجديًا ، لذلك إذا كان المحتوى مطلوبًا بدون اختلافات ، فإن هذا الحل ليس هو الحل المثالي.
لا تفشل ، ماذا لو لم تضع أمر الفرز؟ من فضلك فكر أكثر قليلاً ولا تمضغ كل شيء.
cat pass.txt | uniq> pass-ready.txt
إنه لا يعمل ، لقد جربته
لا يعمل لأن الأسطر "المتكررة" يجب أن تكون مستمرة
شكر
إنه مفيد للغاية
جيد جدا! حل بسيط وواضح. أنا أحب أشياء من هذا القبيل 🙂
يجب أن أعترف أنني كنت سأفعل شيئًا في بايثون لكن هذا الحل جيد.
شكرا ^ - ^
مرحبا! جيد جدا!
لدي استفسار من فضلك
سيعمل بالنسبة لي في المثال التالي:
اي بي سي دي 1111
ديفج 2222 45455
اي بي سي دي 1111
ديفغ 2222
الصفوف متشابهة ولكن بها مسافات وعدد قليل من الأحرف ... هل يتحقق هذا من نفس الكلمة؟ أو عن طريق الخط؟ أشرح؟
من الآن فصاعدًا ، أشكرك كثيرًا.
عناق
مرحبا هناك،
كما رأيت ، هذا يقارن الخطوط وليس الأعمدة ، لذا في المثال الذي أعطيته لي ، سيؤدي هذا إلى إزالة السطر الأول أو السطر الثالث والثاني والرابع ، على الرغم من أنها متطابقة تقريبًا ، إلا أنها ليست متطابقة بنسبة 1٪ لأن لديها عمود الفرق. 😉
شكرا على التعليق ^ - ^
شكرا لك!! قبل أن يستغرق أوراكل ساعة لإزالة التكرارات ... الآن يستغرق الأمر 30 ثانية مع نوع القط !!
أطلبه بلغة PHP: S.
Uff ... أنا PHP ، أنا قصير جدًا ، لست مبرمجًا حقًا 🙁
أنا آسف.
بالنسبة لـ php ، توجد array_unique (…) في وثائق PHP الرسمية ، ستجد العديد من الوظائف المهمة والفعالة.
فيما يتعلق بالفرز ، ما لم تكن في حاجة إليه ، فهو ليس ضروريًا ... يضيع وقت التنفيذ والذاكرة. (لما يتم في المنشور)
تحيات!
نجاح باهر !! قاموس لاستخدامه كقوة غاشمة !! XD
مزيج جيد جدا من النوع مع uniq! لقد ساعدني كثيرًا في إزالة الأسطر المكررة.
شكرا
تعليق كارلوس ، رغم غطرسته ، غير صحيح. يقول لاستخدام:
cat pass.txt | uniq> pass-ready.txt
لكن الشرط الأساسي لـ uniq هو أن يتم ترتيب الملف. يجب أن يفكر في الأمر أكثر قليلاً أو استفسر من قبل.
جيد جدًا ، لقد وفرت لي الكثير من الوقت في إدارة باش
awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
بهذا يتم التخلص من الخطوط دون الحاجة إلى الطلب.
شكرا جزيلا للمدخلات لك!
على الرغم من أنه سيكون من الرائع أن تكون قادرًا على جعله فريدًا دون تغيير الترتيب ، إلا أنه أمر سهل ومفيد!
شكرًا لك ، لقد ساعدني كثيرًا 😉
لدي هذا
ج 000006158880201502051056088364 C00-06158880
ج 000007601673201503051056088364 C00-07601673
ج 000008659304201504051056088364 C00-08659304
تي 0809074070562015120818144287185REAÑO RUBIÑOS EMILIA DORIS
تي 0809092979972016010818144287185REAÑO RUBIÑOS EMILIA DORIS
ج 000005398451201501231044214375 C00-05398451
ج 000007674996201503051000000286 C00-07674996
ج 000008514288201504051000000463 C00-08514288
ج 000011613498201506051056088070 C00-11613498
كيف يمكنني رسم النسخ المكررة فقط لكل مشترك في ملف وترك النسخ غير المكررة في ملف آخر؟
المشترك في نقطة البيع 23 (10 وظائف)
فرز -u -k 1,1،XNUMX File.txt> result.txt
هذا يفرز الملف بالحقل الأول
2020 وما زلت في الخدمة ، شكرًا جزيلاً لك!
هل تريد أن تشترك في هذا الأمر دون أن تتمكن من الوصول إلى ملف نصي يصل إلى نظام التشغيل Linux أو Windows؟ Cũng như trường hợp của bạn، khi tôi tạo file từ iển vì tôi chia nội dung ra nên có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa các file. تاريخ: ملف 1 của tôi co 5 dòng، file 2 co 15 dòng (co 2 dòng trùng lặp với file 1. Tôi muốn co kết quả، File 1 vẫn giữ nguyên 5 dòng، File 2 thì فقط 2 dòng giống file 1 .
Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau، vì những file text to ừiển rất ư là nhiều ký، chẳng hạn như Rockyou. هذه هي الطريقة التي يمكنك بها استخدام Windows ، يمكنك مشاهدة أي شيء من خلال Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!