S Terminálem: Používání regulárních výrazů

Jednou z věcí, které se mi na terminálu Linux vždy líbily, je to, čeho můžete dosáhnout pomocí regulárních výrazů. Ať už potřebujeme najít komplikovaný text nebo ho nahradit jiným, použití regulárních výrazů může práci velmi zjednodušit. Začněme od začátku:

Co je regulární výraz?

Regulární výraz je řada speciálních znaků, které nám umožňují popsat text, který chceme najít. Pokud bychom například chtěli vyhledat slovo „linux“, stačilo by toto slovo vložit do programu, který používáme. Samotné slovo je regulární výraz. Zatím to vypadá velmi jednoduše, ale co když chceme najít všechna čísla v určitém souboru? Nebo všechny řádky, které začínají velkým písmenem? V takových případech již nemůžete napsat jednoduché slovo. Řešením je použití regulárního výrazu.

Regulární výrazy vs. vzory souborů.

Než se pustím do regulárních výrazů, chci vyjasnit běžné nedorozumění ohledně regulárních výrazů. Regulární výraz není to, co zadáváme jako parametr v příkazech, jako je rm, cp atd., Které odkazují na různé soubory na pevném disku. To by byl vzor souboru. Regulární výrazy, i když jsou podobné v tom, že používají některé běžné znaky, se liší. Vzor souboru se aktivuje proti souborům na pevném disku a vrátí ty, které se zcela shodují se vzorem, zatímco regulární výraz se aktivuje proti textu a vrátí řádky, které obsahují hledaný text. Například regulární výraz odpovídající vzoru *.* bylo by to něco jako ^.*\..*$

Druhy regulárních výrazů.

Ne všechny programy používají stejné regulární výrazy. Ne o moc méně. Existuje několik více či méně standardních typů regulárních výrazů, ale existují programy, které mírně mění syntaxi, obsahují vlastní přípony nebo dokonce používají úplně jiné znaky. Proto, pokud chcete použít regulární výrazy s programem, který neznáte dobře, nejprve se podívejte do příručky nebo dokumentace k programu a podívejte se, jaké jsou regulární výrazy, které rozpoznává.

Nejprve existují dva hlavní typy regulárních výrazů, které jsou obsaženy ve standardu POSIX, což používají nástroje Linux. Jsou to základní a rozšířené regulární výrazy. Mnoho příkazů, které fungují s regulárními výrazy, například grep nebo sed, vám umožňuje používat tyto dva typy. Budu o nich mluvit níže. Existují také regulární výrazy ve stylu PERL a pak existují programy jako vim nebo emacs, které používají jejich varianty. V závislosti na tom, co chceme dělat, může být vhodnější použít jedno nebo druhé.

Testování regulárních výrazů.

Syntaxe regulárních výrazů není vůbec triviální. Když budeme muset napsat složitý regulární výraz, budeme před řetězcem speciálních znaků, kterým na první pohled nebude rozumět, takže abychom se naučili, jak je používat, je nezbytné mít způsob, jak udělat všechny testy, které chceme, a snadno vidět výsledky. Proto nyní vložím několik příkazů, pomocí kterých můžeme provádět testy a experimentovat se vším, co potřebujeme, dokud nebudeme mít dominantní regulární výrazy.

První z nich je příkaz grep. Toto je příkaz, který budeme nejčastěji používat k vyhledávání. Syntaxe je následující:

grep [-E] 'REGEX' FICHERO
COMANDO | grep [-E] 'REGEX'

Doporučuji vždy dávat regulární výrazy do jednoduchých uvozovek, aby nás shell nedostal. První způsob je najít regulární výraz v souboru. Druhý umožňuje filtrování výstupu příkazu pomocí regulárního výrazu. Ve výchozím nastavení používá grep základní regulární výrazy. Možnost -E slouží k použití rozšířených regulárních výrazů.

Trik, který nám pomůže zjistit, jak fungují regulární výrazy, je povolit použití barvy v příkazu grep. Tímto způsobem bude zvýrazněna část textu, která odpovídá regulárnímu výrazu, který používáme. Chcete-li aktivovat barvu v příkazu grep, ujistěte se, že je proměnná prostředí GREP_OPTIONS obsahovat v hodnotě --color, které lze provést pomocí tohoto příkazu:

GREP_OPTIONS=--color

Můžeme to dát do .bashrc, abychom to měli vždy aktivované.

Další způsob použití regulárních výrazů je pomocí příkazu sed. To je vhodnější pro nahrazení textu, ale lze jej použít také pro vyhledávání. Syntaxe by vypadala takto:

sed -n[r] '/REGEX/p' FICHERO
COMANDO | sed -n[r] '/REGEX/p'

Příkaz sed ve výchozím nastavení také používá základní regulární výrazy, rozšířené regulární výrazy můžete použít s volbou -r.

Další příkaz, který také chci pojmenovat, je awk. Tento příkaz lze použít k mnoha věcem, protože umožňuje psát skripty ve vašem vlastním programovacím jazyce. Pokud chceme najít regulární výraz v souboru nebo na výstupu příkazu, způsob jeho použití by byl následující:

awk '/REGEX/' FICHERO
COMANDO | awk '/REGEX/'

Tento příkaz vždy používá rozšířené regulární výrazy.

K provedení našich testů budeme také potřebovat text, který slouží jako příklad pro vyhledávání v něm. Můžeme použít následující text:

- Lista de páginas wiki:

ArchLinux: https://wiki.archlinux.org/
Gentoo: https://wiki.gentoo.org/wiki/Main_Page
CentOS: http://wiki.centos.org/
Debian: https://wiki.debian.org/
Ubuntu: https://wiki.ubuntu.com/

- Fechas de lanzamiento:

Arch Linux: 11-03-2002
Gentoo: 31/03/2002
CentOs: 14-05-2004 03:32:38
Debian: 16/08/1993
Ubuntu: 20/10/2004

Desde Linux Rulez.

Toto je text, který použiji pro příklady ve zbytku příspěvku, takže doporučuji zkopírovat jej do souboru, abyste jej měli po ruce z terminálu. Můžete zadat požadované jméno. Říkal jsem tomu regulární výraz.

Počáteční lekce.

Nyní máme vše, co potřebujete k zahájení testování regulárních výrazů. Pojďme kousek po kousku. Uvedu několik příkladů vyhledávání s regulárními výrazy, ve kterých vysvětlím, k čemu každá postava slouží. Nejsou to moc dobré příklady, ale protože budu mít velmi dlouhý příspěvek, už to nechci komplikovat. A já jen poškrábám povrch toho, co lze udělat pomocí regulárních výrazů.

Nejjednodušší ze všeho je vyhledat konkrétní slovo, například předpokládejme, že chceme najít všechny řádky, které obsahují slovo „Linux“. To je nejjednodušší, protože musíme psát pouze:

grep 'Linux' regex

A můžeme vidět výsledek:

ObloukLinux: https://wiki.archlinux.org/ Arch Linux: 11-03-2002 od Linux Rulez.

Jedná se o tři řádky, které obsahují slovo „Linux“, které, pokud jsme použili barevný trik, se objeví zvýrazněné. Všimněte si, že rozpoznává slovo, které hledáme, i když je součástí delšího slova jako v „ArchLinuxu“. Nezvýrazňuje však slovo „linux“, které se objevuje v adrese URL „https://wiki.archlinux.org/“. Je to proto, že se tam objevuje s malými písmeny „l“ a my jsme to hledali velkými písmeny. Příkaz grep má pro to možnosti, ale nebudu o nich mluvit v článku o regulárních výrazech.

Pomocí tohoto jednoduchého testu můžeme vyvodit první závěr:

• Normální znak vložený do regulárního výrazu se shoduje.

Což znamená, že pokud vložíte písmeno „a“, bude hledat písmeno „a“. Zdá se to logické, že? 🙂

Nyní předpokládejme, že chceme vyhledat slovo „CentO“ následované libovolným znakem, ale pouze jedním znakem. K tomu můžeme použít znak „.“, Což je zástupný znak, který odpovídá libovolnému znaku, ale pouze jednomu:

grep 'CentO.' regex

A výsledek je:

CentOS: http://wiki.centos.org/
CentOs: 14-05-2004 03:32:38

Což znamená, že obsahuje „S“ v „CentOS“, i když v jednom případě je velká a v druhém malá. Pokud by se na tom místě objevila nějaká jiná postava, zahrnovala by ji také. Druhé pravidlo již máme:

• Postava "." odpovídá libovolnému znaku.

Už to není tak banální, jak se zdálo, ale s tím nemůžeme udělat moc. Pojďme trochu dále. Předpokládejme, že chceme najít řádky, ve kterých se objevují roky 2002 a 2004. Vypadají jako dvě hledání, ale lze je provést najednou takto:

grep '200[24]' regex

Což znamená, že chceme najít číslo 200 následované 2 nebo 4. Výsledkem je toto:

ArchLinux: 11-03-2002
Gentoo: 31/03 /2002
CentOS: 14-05-2004 03:32:38
Ubuntu: 20/10/2004

Což nás přivádí k třetímu pravidlu:

• Více znaků uzavřených v závorkách odpovídá všem znakům v závorkách.

Konzoly poskytují více hry. lze je také použít k vyloučení znaků. Předpokládejme například, že chceme najít weby, kde se objeví znak „:“, ale za ním není znak „/“. Příkaz by vypadal takto:

grep ':[^/]' regex

Jednoduše jde o to, abyste do závorky vložili jako první znak „^“. Níže můžete zadat všechny požadované znaky. Výsledek tohoto posledního příkazu je následující:

archlinux: https://wiki.archlinux.org/
Gentoo: https://wiki.gentoo.org/wiki/Main_Page
CentOS: http://wiki.centos.org/
Debian: https://wiki.debian.org/
Ubuntu: https://wiki.ubuntu.com/
Arch Linux: 11. 03. 2002 Gentoo: 31. 03. 2002 CentOs: 14 05--2004 03:32:38 Debian: 16. 08. 1993 Ubuntu: 20/10/2004

Nyní jsou za názvy distribucí zvýrazněny znaky „:“, nikoli však ty v adresách URL, protože adresy URL mají za sebou „/“.

• Vložení znaku „^“ na začátek závorky odpovídá libovolnému znaku kromě ostatních znaků v závorce.

Další věcí, kterou můžeme udělat, je zadat rozsah znaků. Například pro hledání libovolného čísla následovaného znakem „-“ by to vypadalo takto:

grep '[0-9]-' regex

Tímto určujeme znak mezi 0 a 9 a poté znaménko minus. Uvidíme výsledek:

ArchLinux: 11-03-2002 CentOs: 14-05-2004 03: 32: 38

V hranatých závorkách lze zadat více rozsahů, které rovnoměrně kombinují rozsahy s jednotlivými znaky.

• Umístění dvou znaků oddělených znakem „-“ do hranatých závorek odpovídá libovolnému znaku v rozsahu.

Podívejme se nyní, jestli můžeme vybrat první část adres URL. Ten, který říká „http“ nebo „https“. Liší se pouze v závěrečném „s“, udělejme to takto:

grep -E 'https?' regex

Otazník slouží k tomu, aby byl znak vlevo volitelný. Ale nyní jsme do příkazu přidali možnost -E. Důvodem je, že dotazování je funkce rozšířených regulárních výrazů. Doposud jsme používali základní regulární výrazy, takže nebylo třeba nic uvádět. Uvidíme výsledek:

ArchLinux: https: //wiki.archlinux.org/ Gentoo: https: //wiki.gentoo.org/wiki/Main_Page CentOS: http: //wiki.centos.org/ Debian: https: //wiki.debian.org/ Ubuntu: https: //wiki.ubuntu.com/

Takže již máme nové pravidlo:

• Znak následovaný znakem „?“ odpovídá tomuto znaku nebo žádnému. To platí pouze pro rozšířené regulární výrazy.

Nyní budeme hledat dvě úplně jiná slova. Podívejme se, jak najít řádky, které obsahují slovo „Debian“ i „Ubuntu“.

grep -E 'Debian|Ubuntu' regex

Se svislou čarou můžeme oddělit dva nebo více různých regulárních výrazů a hledat řádky, které odpovídají kterémukoli z nich:

Debian: https://wiki.debian.org/
ubuntu: https://wiki.ubuntu.com/
Debian: 16 / 08 / 1993
ubuntu: 20 / 10 / 2004

• Znak "|" slouží k oddělení více regulárních výrazů a odpovídá kterémukoli z nich. Je také specifický pro rozšířené regulární výrazy.

Pokračujme. Nyní budeme hledat slovo „Linux“, ale pouze tam, kde není přilepeno k jinému slovu nalevo. Můžeme to udělat takto:

grep '\

Zde je důležitý znak „<“, ale je třeba jej uniknout vložením „\“ před něj, aby jej grep interpretoval jako speciální znak. Výsledek je následující:

Oblouk Linux: 11-03-2002 od Linux Rulez.

Můžete také použít "\>" k hledání slov, která nejsou přímo vedle sebe. Pojďme na příklad. Zkusme tento příkaz:

grep 'http\>' regex

Výstup, který produkuje, je tento:

CentOS: http: //wiki.centos.org/

„Http“ vyšel, ale ne „https“, protože v „https“ je stále znak napravo od „p“, který může být součástí slova.

• Znaky „<“ a „>“ se shodují se začátkem a koncem slova. Těmto znakům musí být uvozeno, aby nebyly interpretovány jako doslovné znaky.

Jdeme s věcmi trochu komplikovanějšími. Znak „+“ odpovídá znaku nalevo, alespoň jednou se opakuje. Tento znak je k dispozici pouze s rozšířenými regulárními výrazy. S ním najdeme například sekvence několika čísel v řadě, které začínají znakem „:“.

grep -E ':[0-9]+' regex

výsledek:

CentOs: 14-05-2004 03: 32: 38

Číslo 38 je také zvýrazněno, protože také začíná „:“.

• Znak „+“ odpovídá znaku nalevo, alespoň jednou se opakuje.

Počet opakování můžete také ovládat pomocí „{“ a „}“. Cílem je vložit do závorek číslo, které označuje přesný počet opakování, které chceme. Můžete také zadat rozsah. Podívejme se na příklady těchto dvou případů.

Nejprve najdeme všechny čtyřciferné sekvence, které existují:

grep '[0-9]\{4\}' regex

Všimněte si, že složené závorky musí být ukončeny, pokud používáme základní regulární výrazy, ale ne, pokud používáme rozšířené. S prodlouženým by to bylo takto:

grep -E '[0-9]{4}' regex

Výsledkem by v obou případech bylo toto:

ArchLinux: 11-03-2002
Gentoo: 31/03 /2002
CentOS: 14-05-2004 03:32:38
Debian: 16/08/1993
Ubuntu: 20/10 /2004

• Znaky „{“ a „}“, jejichž počet je mezi nimi, se shodují s předchozím znakem a opakují zadaný počet opakování.

Nyní další příklad se složenými závorkami. Předpokládejme, že chceme najít slova, která mají 3 až 6 malých písmen. Mohli bychom udělat následující:

grep '[a-z]\{3,6\}' regex

A výsledek by byl tento:

- L.ist de stranas wiki: TOrchLinux: https:/ /wiki.archlinux.org/ Gpak: https:/ /wiki.gentoo.org/wiki/Main_Pstáří
CentOS: http:/ /wiki.CentOS.org/ Debian: https:/ /wiki.debian.org/ NEBOslepá ulička: https:/ /wiki.ubuntu.com/ - F.Vám chybí de spuštění: TOrch Linux: 11-03-2002 Gpak: 31/03/2002 CentOs: 14-05-2004 03:32:38
Debian: 16. 08. 1993 Uslepá ulička: 20 Dto je Linux Rulez.

Což, jak vidíte, nevypadá moc jako to, co jsme chtěli. Je to proto, že regulární výraz najde písmena v jiných slovech, která jsou delší. Zkusme tuto jinou verzi:

grep '\<[a-z]\{3,6\}\>' regex

výsledek:

- Seznam stránek wiki: ArchLinux: https:/ /wiki.archlinux.org/ Gentoo: https:/ /wiki.gentoo.org/wiki/ Main_Page CentOS: http:/ /wiki.CentOS.org/ Debian: https:/ /wiki.debian.org/ Ubuntu: https:/ /wiki.ubuntu.com/

Už to vypadá spíše jako to, co jsme chtěli. To, co jsme udělali, je vyžadovat, aby slovo začalo těsně před prvním písmenem a skončilo těsně po posledním.

• Znaky „{“ a „}“ se dvěma číslicemi oddělenými čárkou se shodují s předchozím znakem tolikrát, kolikrát je označeno dvěma čísly.

Pojďme se nyní podívat na postavu, která je vrcholem „+“. Je to „*“ a jeho fungování je velmi podobné, pouze pokud odpovídá libovolnému počtu znaků včetně nuly. To znamená, že dělá to samé jako „+“, ale nevyžaduje, aby se v jeho textu objevil znak nalevo. Zkusme například hledat ty adresy, které začínají na wiki a končí org:

grep 'wiki.*org' regex

Uvidíme výsledek:

ArchLinux: https: //wiki.archlinux.org/ Gentoo: https: //wiki.gentoo.org/ wiki / Main_Page CentOS: http: //wiki.centos.org/ Debian: https: //wiki.debian.org/

Perfektní.

Nyní poslední postava, kterou uvidíme. Znak "\" se používá k úniku znaku napravo, aby ztratil svůj zvláštní význam. Například: Předpokládejme, že chceme vyhledat čáry, které končí bodem. První věc, která by nás mohla napadnout, by mohla být tato:

grep '.$' regex

Výsledek není to, co hledáme:

- Seznam wiki stránek:
ArchLinux: https://wiki.archlinux.org/
Gentoo: https://wiki.gentoo.org/wiki/Main_Page
CentOS: http://wiki.centos.org/
Debian: https://wiki.debian.org/
Ubuntu: https://wiki.ubuntu.com/
- Data vydání: Arch Linux: 11-03-2002
Gentoo: 31/03/2002
CentOs: 14-05-2004 03:32:38
Debian: 16. 08. 1993
Ubuntu: 20/10/2004
Desde Linux Rulez.

Je to proto, že „.“ odpovídá čemukoli, takže regulární výraz odpovídá poslednímu znaku každého řádku, ať už je jakýkoli. Řešení je toto:

grep '\.$' regex

Výsledkem je to, co chceme:

Desde Linux Rulez.

Konec hry

I když je předmět regulárních výrazů tak složitý, že bych ho dal za řadu článků, myslím, že jsem vám již dal dost bolesti. Pokud se vám podařilo dorazit, gratulujeme. A pokud jste to všechno přečetli na jedno sezení, vezměte si aspirin nebo tak něco, protože to nemůže být dobré.

To je zatím vše. Pokud se vám tento článek líbí, možná bych mohl napsat další. Mezitím vám doporučuji vyzkoušet všechny regulární výrazy v terminálu, abyste jasně viděli, jak fungují. A pamatujte: Pouze Chuck Norris dokáže analyzovat HTML pomocí regulárních výrazů.