Elimina línies duplicades d'un arxiu

Estic fent un diccionari de contrasenyes més usats, els populars o freqüentment més usats pels usuaris (... no preguntin el per què ... JAJAJA), Per això estic prenent text d'altres diccionaris etc, però, em veig en la situació que hi ha muuuchos passwords duplicats, i necessito eliminar les línies duplicades.

O sigui, per exemple ... tenim el següent arxiu: pass.txt

I el seu contingut és:

asdasd
lola
amor
asdasd
finestres
admin
linux
asdasd
amor

 Com veiem, tenim repetit «amor»i«asdasd«, Aquest últim 3 vegades. ¿Com eliminar les línies duplicades?

Per fer-ho és simple, amb aquesta comanda:

cat pass.txt | sort | uniq > pass-listos.txt

Això ens generarà un fitxer anomenat pass-listos.txt que contindrà:

admin
asdasd
linux
lola
amor
finestres

El que fa la comanda és MOLT simple ...

  1. cat pass.txt - »Llista el contingut de l'arxiu.
  2. sort - »Ordena el contingut alfabèticament.
  3. únic - »Elimina les línies duplicades.
  4. > Pass-listos.txt - »El resultat de les ordres anteriors, posa-ho a l'arxiu pass-listos.txt (que, com no existeix, el crearà)

Així de simple ... recentment descobreixo que la comanda sort sí, és molt bo ... però, unit a únic, són una joia d'art 

Espero els hagi estat d'utilitat.

Salutacions

paper pintat: Si voleu baixar el wallpaper «I Love #! / Bin / bash»Aquí tenen el link:

Descàrrega Wallpaper