إزالة الأسطر المكررة من الملف

أقوم بإنشاء قاموس لأكثر كلمات المرور استخدامًا ، وهي كلمات المرور الشائعة أو الأكثر استخدامًا من قبل المستخدمين (... لا تسأل لماذا ... هاهاها) ، لهذا أقوم بأخذ نص من قواميس أخرى وما إلى ذلك ، لكنني أجد نفسي في موقف أن هناك العديد من كلمات المرور المكررة ، وأحتاج إلى إزالة الأسطر المكررة.

بمعنى آخر ، على سبيل المثال ... لدينا الملف التالي: pass.txt

ومحتواه:

ASDASD
لولا
حب
ASDASD
نوافذ
مشرف
لينكس
ASDASD
حب

 كما نرى كررنا «حب»Y«ASDASD«، الأخير 3 مرات. كيفية إزالة الخطوط المكررة؟

من السهل القيام بذلك باستخدام هذا الأمر:

cat pass.txt | sort | uniq > pass-listos.txt

سيؤدي هذا إلى إنشاء ملف يسمى تمرير جاهز. txt والتي سوف تحتوي على:

مشرف
ASDASD
لينكس
لولا
حب
نوافذ

ما يفعله الأمر بسيط للغاية ...

  1. القط pass.txt - »قائمة محتويات الملف.
  2. sort - »فرز المحتوى أبجديا.
  3. فريد - »القضاء على الأسطر المكررة.
  4. > تمرير جاهز - »نتيجة الأوامر السابقة ضعها في ملف pass-ready.txt (الذي ، لأنه غير موجود ، سيخلقه)

الأمر بهذه البساطة ... لقد اكتشفت للتو أن الأمر sort نعم ، إنه جيد جدًا ... ولكن مع فريد، هم جوهرة الفن 😀

أتمنى أن تكون قد ساعدت.

تحياتي

ورق الجدران: إذا كنت تريد تنزيل خلفية الشاشة «أنا أحب #! / بين / باش"ها هو الرابط الالكتروني:

تحميل خلفيات

27 تعليقات ، اترك لك

اترك تعليقك

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها ب *

*

*

  1. المسؤول عن البيانات: ميغيل أنخيل جاتون
  2. الغرض من البيانات: التحكم في الرسائل الاقتحامية ، وإدارة التعليقات.
  3. الشرعية: موافقتك
  4. توصيل البيانات: لن يتم إرسال البيانات إلى أطراف ثالثة إلا بموجب التزام قانوني.
  5. تخزين البيانات: قاعدة البيانات التي تستضيفها شركة Occentus Networks (الاتحاد الأوروبي)
  6. الحقوق: يمكنك في أي وقت تقييد معلوماتك واستعادتها وحذفها.

  1.   كارلوس قال

    يمكنك أيضًا استخدام الترتيب -u.

    تهانينا على المدونة احببتها!

    1.    KZKG ^ جارا قال

      نعم صحيح.
      لا شئ شكرا جزيلا على تعليقك 😀

      مرحبًا 😉
      تحياتي

  2.   دييغو قال

    المشكلة في ذلك أنه يغير ترتيب الكلمات ، فهو يعمل ... ولكن في النهاية تختلف النتيجة كثيرًا عن الأصل في الترتيب (وهو ما قد يكون مهمًا في بعض الحالات)

    1.    KZKG ^ جارا قال

      نعم بالفعل ، هذا يرتب الكلمات أبجديًا ، لذلك إذا كان المحتوى مطلوبًا بدون اختلافات ، فإن هذا الحل ليس هو الحل المثالي.

    2.    كارلوس قال

      لا تفشل ، ماذا لو لم تضع أمر الفرز؟ من فضلك فكر أكثر قليلاً ولا تمضغ كل شيء.

      cat pass.txt | uniq> pass-ready.txt

      1.    إليوبر قال

        إنه لا يعمل ، لقد جربته

      2.    بوب قال

        لا يعمل لأن الأسطر "المتكررة" يجب أن تكون مستمرة

  3.   بدون اسم قال

    شكر

    إنه مفيد للغاية

  4.   جيسكارد قال

    جيد جدا! حل بسيط وواضح. أنا أحب أشياء من هذا القبيل 🙂
    يجب أن أعترف أنني كنت سأفعل شيئًا في بايثون لكن هذا الحل جيد.

    1.    KZKG ^ جارا قال

      شكرا ^ - ^

  5.   موهبة قال

    مرحبا! جيد جدا!
    لدي استفسار من فضلك
    سيعمل بالنسبة لي في المثال التالي:
    اي بي سي دي 1111
    ديفج 2222 45455
    اي بي سي دي 1111
    ديفغ 2222

    الصفوف متشابهة ولكن بها مسافات وعدد قليل من الأحرف ... هل يتحقق هذا من نفس الكلمة؟ أو عن طريق الخط؟ أشرح؟
    من الآن فصاعدًا ، أشكرك كثيرًا.
    عناق

    1.    KZKG ^ جارا قال

      مرحبا هناك،
      كما رأيت ، هذا يقارن الخطوط وليس الأعمدة ، لذا في المثال الذي أعطيته لي ، سيؤدي هذا إلى إزالة السطر الأول أو السطر الثالث والثاني والرابع ، على الرغم من أنها متطابقة تقريبًا ، إلا أنها ليست متطابقة بنسبة 1٪ لأن لديها عمود الفرق. 😉

      شكرا على التعليق ^ - ^

      1.    TINO قال

        شكرا لك!! قبل أن يستغرق أوراكل ساعة لإزالة التكرارات ... الآن يستغرق الأمر 30 ثانية مع نوع القط !!

  6.   ميجا بيددر قال

    أطلبه بلغة PHP: S.

    1.    KZKG ^ جارا قال

      Uff ... أنا PHP ، أنا قصير جدًا ، لست مبرمجًا حقًا 🙁

      أنا آسف.

    2.    برونوكاسيو قال

      بالنسبة لـ php ، توجد array_unique (…) في وثائق PHP الرسمية ، ستجد العديد من الوظائف المهمة والفعالة.

      فيما يتعلق بالفرز ، ما لم تكن في حاجة إليه ، فهو ليس ضروريًا ... يضيع وقت التنفيذ والذاكرة. (لما يتم في المنشور)

      تحيات!

  7.   المهووس قال

    نجاح باهر !! قاموس لاستخدامه كقوة غاشمة !! XD

  8.   غوستافو قال

    مزيج جيد جدا من النوع مع uniq! لقد ساعدني كثيرًا في إزالة الأسطر المكررة.

    شكرا

  9.   غوستافو قال

    تعليق كارلوس ، رغم غطرسته ، غير صحيح. يقول لاستخدام:

    cat pass.txt | uniq> pass-ready.txt

    لكن الشرط الأساسي لـ uniq هو أن يتم ترتيب الملف. يجب أن يفكر في الأمر أكثر قليلاً أو استفسر من قبل.

  10.   إليوبر قال

    جيد جدًا ، لقد وفرت لي الكثير من الوقت في إدارة باش

  11.   فلينستون قال

    awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
    بهذا يتم التخلص من الخطوط دون الحاجة إلى الطلب.

  12.   مينيمينيو قال

    شكرا جزيلا للمدخلات لك!

    على الرغم من أنه سيكون من الرائع أن تكون قادرًا على جعله فريدًا دون تغيير الترتيب ، إلا أنه أمر سهل ومفيد!

  13.   فيليبي جوتيريز قال

    شكرًا لك ، لقد ساعدني كثيرًا 😉

  14.   ارنستو قال

    لدي هذا
    ج 000006158880201502051056088364 C00-06158880
    ج 000007601673201503051056088364 C00-07601673
    ج 000008659304201504051056088364 C00-08659304
    تي 0809074070562015120818144287185REAÑO RUBIÑOS EMILIA DORIS
    تي 0809092979972016010818144287185REAÑO RUBIÑOS EMILIA DORIS
    ج 000005398451201501231044214375 C00-05398451
    ج 000007674996201503051000000286 C00-07674996
    ج 000008514288201504051000000463 C00-08514288
    ج 000011613498201506051056088070 C00-11613498

    كيف يمكنني رسم النسخ المكررة فقط لكل مشترك في ملف وترك النسخ غير المكررة في ملف آخر؟

    المشترك في نقطة البيع 23 (10 وظائف)

  15.   فرناندو قال

    فرز -u -k 1,1،XNUMX File.txt> result.txt

    هذا يفرز الملف بالحقل الأول

  16.   أنا دييغو قال

    2020 وما زلت في الخدمة ، شكرًا جزيلاً لك!

  17.   سارة قال

    هل تريد أن تشترك في هذا الأمر دون أن تتمكن من الوصول إلى ملف نصي يصل إلى نظام التشغيل Linux أو Windows؟ Cũng như trường hợp của bạn، khi tôi tạo file từ iển vì tôi chia nội dung ra nên có khá nhiều file và chắc chắn con nhiều dòng trùng lặp giữa các file. تاريخ: ملف 1 của tôi co 5 dòng، file 2 co 15 dòng (co 2 dòng trùng lặp với file 1. Tôi muốn co kết quả، File 1 vẫn giữ nguyên 5 dòng، File 2 thì فقط 2 dòng giống file 1 .
    Như bạn biết co nhiều li do chúng ta ko thể gộp các file txt đó lại với nhau، vì những file text to ừiển rất ư là nhiều ký، chẳng hạn như Rockyou. هذه هي الطريقة التي يمكنك بها استخدام Windows ، يمكنك مشاهدة أي شيء من خلال Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!