파일에서 중복 줄 제거

Alejandro (a.k.a KZKG^Gaara)

1 분

사용자가 가장 많이 사용하거나 가장 많이 사용하는 암호 사전을 만들고 있습니다 (… 이유는 묻지 마세요… 하하하),이를 위해 다른 사전 등에서 텍스트를 가져오고 있지만 중복 된 암호가 많은 상황에 처해 있으며 중복 된 줄을 제거해야합니다.

즉, 예를 들어 ... 다음 파일이 있습니다. 패스.txt

그 내용은 다음과 같습니다.

asdasd
롤라
애정
asdasd
창
관리자
리눅스
asdasd
애정

 보시다시피«애정"Y"asdasd«, 후자 3 회. 중복 줄을 제거하는 방법?

다음 명령을 사용하면 간단합니다.

cat pass.txt | sort | uniq > pass-listos.txt

그러면 다음과 같은 파일이 생성됩니다. pass-ready.txt 다음을 포함합니다.

관리자
asdasd
리눅스
롤라
애정
창

명령이하는 일은 매우 간단합니다 ...

  1. 고양이 pass.txt -»파일의 내용을 나열합니다.
  2. 종류 -»콘텐츠를 알파벳순으로 정렬합니다.
  3. 유니크 -»중복 라인 제거.
  4. > pass-ready.txt -»이전 명령의 결과를 pass-ready.txt 파일 (존재하지 않기 때문에 생성됩니다.)

간단합니다 ... 방금 명령이 종류 예, 아주 좋습니다 ...하지만 함께 유니크, 그들은 예술의 보석입니다 😀

도움이 되었기를 바랍니다.

안부

벽지: 바탕 화면을 다운 받으시려면«I Love #! / Bin / bash"여기 링크가 있습니다:

배경 화면 다운로드

코멘트를 남겨주세요

귀하의 이메일 주소는 공개되지 않습니다. 필수 필드가 표시되어 있습니다 *

*

*

  1. 데이터 책임자 : Miguel Ángel Gatón
  2. 데이터의 목적 : 스팸 제어, 댓글 관리.
  3. 합법성 : 귀하의 동의
  4. 데이터 전달 : 법적 의무에 의한 경우를 제외하고 데이터는 제 XNUMX 자에게 전달되지 않습니다.
  5. 데이터 저장소 : Occentus Networks (EU)에서 호스팅하는 데이터베이스
  6. 권리 : 귀하는 언제든지 귀하의 정보를 제한, 복구 및 삭제할 수 있습니다.

  1.   카를로스 말
    전 12 년

    sort -u를 사용할 수도 있습니다.

    블로그 축하합니다. 너무 좋아요!

    Carlos에게 답장
    1.    KZKG ^ 가아라 말
      전 12 년

      그래 맞아.
      아무것도 댓글을 달아 주셔서 감사합니다 😀

      환영합니다 😉
      안부

      답장 KZKG ^ Gaara
  2.   샌디에고 말
    전 12 년

    그것의 문제는 단어의 순서를 변경하고 작동한다는 것입니다 ...하지만 결국 결과는 순서가 원본과 많이 다릅니다 (어떤 경우에는 중요합니다)

    디에고에게 답장
    1.    KZKG ^ 가아라 말
      전 12 년

      예, 이것은 단어를 알파벳순으로 정렬하므로 변형없이 콘텐츠가 필요한 경우이 솔루션은 이상적인 솔루션이 아닙니다.

      답장 KZKG ^ Gaara
    2.    카를로스 말
      전 11 년

      나사를 돌리지 마십시오. 정렬 명령을하지 않으면 어떨까요? 조금 더 생각하고 모든 것을 씹지 마십시오.

      고양이 pass.txt | uniq> pass-ready.txt

      Carlos에게 답장
      1.    엘리 우버 말
        전 9 년

        작동하지 않습니다. 시도했습니다.

        Eliuber에게 답장
      2.    곡물 말
        전 6 년

        "반복 된"줄이 연속되어야하기 때문에 작동하지 않습니다.

        밥에게 답장
  3.   명명되지 않은 말
    전 12 년

    감사

    그것은 매우 유용합니다

    이름없는 답장
  4.   Giskard 말
    전 12 년

    아주 좋아요! 간단하고 명확한 솔루션. 나는 그런 것을 좋아한다 🙂
    나는 파이썬에서 무언가를했을 것이라는 것을 인정해야하지만이 솔루션은 괜찮다.

    Giskard에게 답장
    1.    KZKG ^ 가아라 말
      전 12 년

      감사합니다 ^ - ^

      답장 KZKG ^ Gaara
  5.   티노 말
    전 11 년

    여보세요! 아주 좋아요!
    질문이 있습니다
    다음 예에서 저에게 효과적입니다.
    ABCD 1111
    데프지 2222 45455
    ABCD 1111
    데프지 2222

    행은 동일하지만 공백과 문자가 몇 개 더 있습니다. 동일한 단어를 확인합니까? 아니면 줄로? 내가 설명한다?
    지금부터 정말 감사합니다.
    포옹

    tino에게 답장
    1.    KZKG ^ 가아라 말
      전 11 년

      안녕하세요,
      내가 본 것처럼 이것은 열이 아닌 행을 비교하므로 예에서 이것은 첫 번째 줄 또는 세 번째, 두 번째 및 네 번째 줄을 제거합니다. 거의 동일하지만 1 % 동일하지는 않습니다. 차이 열. 😉

      댓글 감사합니다 ^-^

      답장 KZKG ^ Gaara
      1.    티노 말
        전 11 년

        고마워!! 오라클이 중복을 제거하는 데 한 시간이 걸리기 전에 ... 이제 고양이 정렬로 30 초가 걸립니다 !!

        TINO에게 답장
  6.   메가베더 말
    전 11 년

    PHP에서 필요합니다 : S

    MegaBedder에 답장
    1.    KZKG ^ 가아라 말
      전 11 년

      Uff ... 저는 PHP이고, 매우 짧습니다. 저는 프로그래머가 아닙니다 🙁

      미안 해요.

      답장 KZKG ^ Gaara
    2.    브루노 카시오 말
      전 11 년

      PHP의 경우 공식 PHP 문서에 array_unique (…)가 있습니다. 중요하고 효율적인 많은 함수를 찾을 수 있습니다.

      정렬에 관해서는 필요하지 않으면 필요하지 않습니다. 실행 시간과 메모리가 낭비됩니다. (게시물에서 수행되는 작업)

      안녕하십니까!

      brunocascio에 답장
  7.   괴짜 말
    전 11 년

    와 !! 무차별 대입으로 사용할 사전 !! XD

    frikilui에 답장
  8.   구스타보 말
    전 11 년

    uniq와 정렬의 조합이 아주 좋습니다! 중복 된 줄을 제거하는 데 많은 도움이되었습니다.

    감사합니다

    Gustavo에 응답
  9.   구스타보 말
    전 11 년

    카를로스의 오만함에도 불구하고 말은 유효하지 않습니다. 그는 다음을 사용하라고 말합니다.

    고양이 pass.txt | uniq> pass-ready.txt

    그러나 uniq의 전제 조건은 파일을 주문하는 것입니다. 그것에 대해 조금 더 생각했거나 전에 문의 했어야했습니다.

    Gustavo에 응답
  10.   엘리 우버 말
    전 9 년

    아주 좋아, 당신은 내 bash를 실행하는 데 많은 시간을 절약했습니다.

    Eliuber에게 답장
  11.   부싯돌 말
    전 9 년

    awk '! array_temp [$ 0] ++'pass.txt> pass-ready.txt
    이를 통해 주문할 필요없이 라인이 제거됩니다.

    Pedro Flintstone에게 답장
  12.   미니미니요 말
    전 8 년

    입력 주셔서 대단히 감사합니다!

    순서를 바꾸지 않고 독특하게 만들 수 있다는 것이 멋지 겠지만, 간단하고 유용한 명령어!

    miniminiyo에 답장
  13.   펠리페 구티에레즈 말
    전 8 년

    고마워요, 많은 도움이되었습니다 😉

    Felipe Gutiérrez에게 답장
  14.   에르네스토 말
    전 8 년

    나는 이것을 가지고있다
    C000006158880201502051056088364 C00-06158880
    C000007601673201503051056088364 C00-07601673
    C000008659304201504051056088364 C00-08659304
    T 0809074070562015120818144287185REAÑO RUBIÑOS 에밀리아 도리스
    T 0809092979972016010818144287185REAÑO RUBIÑOS 에밀리아 도리스
    C000005398451201501231044214375 C00-05398451
    C000007674996201503051000000286 C00-07674996
    C000008514288201504051000000463 C00-08514288
    C000011613498201506051056088070 C00-11613498

    구독자 당 중복 만 파일에 페인트하고 중복이 아닌 파일은 다른 파일에 남겨 두려면 어떻게해야합니까?

    구독자는 위치 23 (10 개 위치)에 있습니다.

    에르네스토에 답장
  15.   페르난도 말
    전 8 년

    sort -u -k 1,1 File.txt> result.txt

    첫 번째 필드로 파일을 정렬합니다.

    Fernando에게 답장
  16.   나는 디에고입니다 말
    전 4 년

    2020 년에도 봉사하고 있습니다. 대단히 감사합니다!

    SoyDiego에 답장
  17.   사라 말
    전 3 년

    Bạn co thể hướng dẫn cách loại bỏ các dòng trùng lặp của nhiều file text trong Linux or Windows được không? Cũng như trường hợp của bạn, khi tôi tạo file từ điển vì tôi chia nội dung ra nên Có khá nhiều file và chắc chặữa Cặn con nhiều dò. Ví dụ : 파일 1 của tôi co 5 dòng, file 2 co 15 dòng (co 2 dòng trùng lặp với 파일 1. Tôi muốn co kết quả, 파일 1 vẫn giữ nguyên 5 dòng, 파일 2 thì only bỏ 파일 .
    Như bạn biết co nhiều li do chúng ta ko thể gộp các 파일 txt đó lại với nhau, vì những 파일 텍스트 từ điển rất ư là nhiều ký, chẳng hạn Thực tế tôi muốn thực hiện điều này bên Windows hơn, và chắc chắn ko thể gộp chúng ở bên Windows được. 🙂 Hy vọng nhận được phản hồi từ bạn!

    사라에게 답장