किसी फ़ाइल से डुप्लिकेट लाइनें निकालें

मैं सबसे अधिक उपयोग किए जाने वाले पासवर्डों का एक शब्दकोश बना रहा हूं, जो उपयोगकर्ताओं द्वारा लोकप्रिय या अक्सर सबसे अधिक उपयोग किया जाता है (... पूछें क्यों नहीं ... हाहाहाहा), इसके लिए मैं अन्य शब्दकोशों आदि से पाठ ले रहा हूं, लेकिन, मैं खुद को इस स्थिति में पाता हूं कि कई डुप्लिकेट पासवर्ड हैं, और मुझे डुप्लिकेट लाइनों को खत्म करने की आवश्यकता है।

उदाहरण के लिए, हमारे पास निम्न फ़ाइल है: पास

और इसकी सामग्री है:

asdasd
लोला
मोहब्बत
asdasd
खिड़कियां
व्यवस्थापक
लिनक्स
asdasd
मोहब्बत

 जैसा कि हम देखते हैं, हमने दोहराया है «मोहब्बत»Y«asdasd«, बाद 3 बार। डुप्लिकेट लाइनें कैसे निकालें?

यह करना आसान है, इस आदेश के साथ:

cat pass.txt | sort | uniq > pass-listos.txt

यह एक फ़ाइल उत्पन्न करेगा जिसे कहा जाता है पास- ready.txt जिसमें शामिल होंगे:

व्यवस्थापक
asdasd
लिनक्स
लोला
मोहब्बत
खिड़कियां

क्या आदेश बहुत आसान है ...

  1. बिल्ली पास - »फ़ाइल की सामग्री को सूचीबद्ध करें।
  2. तरह -> सामग्री को वर्णानुक्रम में क्रमबद्ध करें।
  3. यूनीक -> डुप्लिकेट लाइनों को हटा दें।
  4. > pass-ready.txt - »पिछले आदेशों का परिणाम, इसे फाइल पास-रेडी में डालें।जो, जैसा कि यह मौजूद नहीं है, इसे बनाएगा)

यह इतना आसान है ... मुझे बस यह पता चला है कि कमान तरह हां, यह बहुत अच्छा है ... लेकिन, साथ में यूनीक, वे कला का एक गहना हैं of

मुझे आशा है कि आप मददगार रहे होंगे।

सादर

वॉलपेपर: यदि आप वॉलपेपर डाउनलोड करना चाहते हैं «आई लव #! / बिन / बैश"लिंक यहां दिया गया है:

वॉलपेपर डाउनलोड करें

अपनी टिप्पणी दर्ज करें

आपका ईमेल पता प्रकाशित नहीं किया जाएगा। आवश्यक फ़ील्ड के साथ चिह्नित कर रहे हैं *

*

*

  1. डेटा के लिए जिम्मेदार: मिगुएल elngel Gatón
  2. डेटा का उद्देश्य: नियंत्रण स्पैम, टिप्पणी प्रबंधन।
  3. वैधता: आपकी सहमति
  4. डेटा का संचार: डेटा को कानूनी बाध्यता को छोड़कर तीसरे पक्ष को संचार नहीं किया जाएगा।
  5. डेटा संग्रहण: ऑकेंटस नेटवर्क्स (EU) द्वारा होस्ट किया गया डेटाबेस
  6. अधिकार: किसी भी समय आप अपनी जानकारी को सीमित, पुनर्प्राप्त और हटा सकते हैं।

  1.   कार्लोस कहा

    आप सॉर्ट-यू का भी उपयोग कर सकते हैं।

    ब्लॉग पर बधाई, मुझे यह पसंद है!

    1.    KZKG ^ गारा कहा

      हाँ सही।
      कुछ नहीं, टिप्पणी करने के लिए बहुत बहुत धन्यवाद much

      स्वागत है 😉
      सादर

  2.   डिएगो कहा

    इसके साथ समस्या यह है कि यह शब्दों के क्रम को बदल देता है, यह काम करता है ... लेकिन अंत में परिणाम मूल से क्रम में बहुत भिन्न होता है (जो शायद किसी मामले में यह मायने रखता है)

    1.    KZKG ^ गारा कहा

      हां वास्तव में, यह वर्णानुक्रम में शब्दों को आदेश देता है, इसलिए यदि सामग्री को विविधताओं के बिना आवश्यक था, तो यह समाधान आदर्श नहीं है।

    2.    कार्लोस कहा

      चारों ओर पेंच मत करो, क्या होगा यदि यह आपके लिए सॉर्ट कमांड नहीं डाल सकता है? कृपया थोड़ा और सोचें और सब कुछ नहीं चबाएं।

      बिल्ली pass.txt | uniq> pass-ready.txt

      1.    एलियूबेर कहा

        यह काम नहीं करता है, मैंने यह कोशिश की

      2.    अनाज कहा

        काम नहीं करता है क्योंकि "दोहराया" लाइनें निरंतर होनी चाहिए

  3.   बिना नाम वाला कहा

    ग्रेसियस

    यह काफी उपयोगी है

  4.   गिस्कार्ड कहा

    बहुत अच्छा! एक सरल और स्पष्ट समाधान। मुझे ऐसी चीजें पसंद हैं 🙂
    मुझे स्वीकार करना होगा कि मैंने पायथन में कुछ किया होगा, लेकिन यह समाधान ठीक है।

    1.    KZKG ^ गारा कहा

      धन्यवाद ^ - ^

  5.   आदत कहा

    नमस्कार! बहुत अच्छा!
    मेरे पास एक क्वेरी है कृपया
    यह निम्नलिखित उदाहरण के लिए मेरे लिए काम करेगा:
    एबीसीडी 1111
    डीईएफजी 2222 45455
    एबीसीडी 1111
    डीईएफ़जी 2222

    पंक्तियाँ समान हैं, लेकिन उनके पास स्थान और कुछ और वर्ण हैं ... क्या यह एक ही शब्द के लिए जाँच करता है? या लाइन से? मै समझाता हूँ?
    अब से, मैं आपको बहुत-बहुत धन्यवाद देता हूं।
    एक गले लगाने

    1.    KZKG ^ गारा कहा

      नमस्ते,
      जैसा कि मैंने देखा, यह लाइनों और कॉलमों की तुलना करता है, इसलिए उदाहरण में आप मुझे देते हैं, यह या तो 1 लाइन या 3 डी, 2 डी और 4 वीं लाइन को हटा देगा, हालांकि वे लगभग समान हैं, वे 100% समान नहीं हैं क्योंकि उनके पास ए है अंतर स्तंभ। 😉

      टिप्पणी के लिए धन्यवाद ^ - ^

      1.    टीनो कहा

        आपका धन्यवाद!! इससे पहले कि डुप्लिकेट को खत्म करने के लिए ओरेकल के लिए एक घंटे का समय लगा ... अब बिल्ली की तरह 30 सेकंड लगते हैं !!

  6.   मेगाबेडर कहा

    मुझे पीएचपी में इसकी आवश्यकता है: एस

    1.    KZKG ^ गारा कहा

      उफ़… मैं PHP का उपयोग करता हूं क्योंकि मैं बहुत छोटा हूं, मैं वास्तव में एक प्रोग्रामर नहीं हूं

      मुझे माफ कर दो.

    2.    ब्रूनोकासियो कहा

      PHP के लिए आधिकारिक PHP प्रलेखन में array_unique (…) है, आपको कई महत्वपूर्ण और कुशल कार्य मिलेंगे ..

      सॉर्ट के संबंध में, जब तक आपको इसकी आवश्यकता नहीं होती है, यह आवश्यक नहीं है ... निष्पादन समय और मेमोरी बर्बाद हो जाती है। (पोस्ट में क्या किया जाता है)

      नमस्ते!

  7.   गीक कहा

    वाह !! जानवर बल के रूप में उपयोग करने के लिए एक शब्दकोश !! XD

  8.   गुस्तावो कहा

    बहुत अच्छा संयोजन uniq के साथ! इससे मुझे डुप्लिकेट लाइनों को हटाने में बहुत मदद मिली।

    धन्यवाद

  9.   गुस्तावो कहा

    कार्लोस की टिप्पणी, उनके अहंकार के बावजूद, मान्य नहीं है। वह कहता है:

    बिल्ली pass.txt | uniq> pass-ready.txt

    हालांकि uniq की एक शर्त यह है कि फ़ाइल का आदेश दिया गया है। आपको इसके बारे में थोड़ा और सोचना चाहिए या पहले खुद को सूचित करना चाहिए था।

  10.   एलियूबेर कहा

    बहुत अच्छा, आपने मेरा बैश चलाने में बहुत समय बचाया

  11.   फ्लिंटस्टोंस कहा

    awk '! array_temp [$ 0] ++' pass.txt> pass-ready.txt
    इस आदेश के बिना लाइनों को समाप्त कर रहे हैं।

  12.   मिनिमिनियो कहा

    इनपुट के लिए बहुत बहुत धन्यवाद!

    हालांकि यह क्रम बदलने के बिना इसे अद्वितीय बनाने में सक्षम होना अच्छा होगा, लेकिन हे, एक आसान और उपयोगी कमांड!

  13.   फेलिप गुटिरेज कहा

    धन्यवाद, इसने मेरी बहुत मदद की me

  14.   अर्नेस्टो कहा

    मेरे पास यह है
    सी 000006158880201502051056088364 सी00-06158880
    सी 000007601673201503051056088364 सी00-07601673
    सी 000008659304201504051056088364 सी00-08659304
    T 0809074070562015120818144287185REA RUBO RUBIÑOS EMILIA DORIS
    T 0809092979972016010818144287185REA RUBO RUBIÑOS EMILIA DORIS
    सी 000005398451201501231044214375 सी00-05398451
    सी 000007674996201503051000000286 सी00-07674996
    सी 000008514288201504051000000463 सी00-08514288
    सी 000011613498201506051056088070 सी00-11613498

    मुझे यह कैसे मिलेगा कि मुझे प्रति ग्राहक केवल डुप्लिकेट में एक फ़ाइल में पेंट करें और गैर-डुप्लिकेट को दूसरे में छोड़ दें?

    ग्राहक 23 पदों (10 पदों) में है

  15.   फर्नांडो कहा

    सॉर्ट -u -k 1,1 File.txt> result.txt

    यह फ़ाइल को पहले फ़ील्ड द्वारा सॉर्ट करता है

  16.   मैं मर रहा हूँ कहा

    2020 और अभी भी सेवारत, बहुत बहुत धन्यवाद!

  17.   सराह कहा

    लिनक्स या विंडोज के लिए फाइल टेक्स्ट को फाइल करें? कोंग न्हो ट्रिंग होप कोआ बान, खी टुई टुओ फाइल टू iển vì tôi chia nội dung ra nên को खा nhiều file và chắc chắn con nhiều dòng trùng file. उदाहरण के लिए: फ़ाइल 1 को ५ सह फ़ाइल, फ़ाइल २ सह १५ फ़ाइल (सह २ dòng trùng lặp với फ़ाइल १. .
    नह बान बियट को न्हिउ ली डो चिंग टा को थ गप सीएसी फ़ाइल txt ó lại với nhau, vì những फ़ाइल टेक्स्ट từ iển rất là nhiều ký, chẳng hạn như. इस पर विचार करें विंडोज होन, वे चॉक चोंग को थॉ गप चोंग बान विंडोज आदि। हाय वोंग न्हान c phản hồi từ bn!