Stiahnite si celú stránku s wget, aj keď existujú obmedzenia

Čo je to wget?

Nič lepšie ako Wikipedia vysvetliť, z čoho tento nástroj pozostáva:

GNU Wget je bezplatný softvérový nástroj, ktorý umožňuje jednoduché sťahovanie obsahu z webových serverov. Jeho názov je odvodený od World Wide Web (w) a od „get“ (v angličtine get), to znamená: get from WWW.

V súčasnosti podporuje sťahovanie pomocou protokolov HTTP, HTTPS a FTP.

Medzi najvýznamnejšie funkcie, ktoré ponúka wget je tu možnosť ľahkého rekurzívneho sťahovania zložitých zrkadiel, konverzie odkazov na lokálne zobrazovanie obsahu HTML, podpora proxy ...

De wget Už sme toho tu nahovorili dosť DesdeLinux. v skutočnosti ya Videli sme, ako sa dá stiahnuť kompletný web pomocou wget, problém je v tom, že v dnešnej dobe správcovia nie vždy umožňujú komukoľvek stiahnuť si celý svoj web len tak, nejde o niečo, čo by sa mu skutočne páčilo ... a samozrejme tomu rozumiem. Stránka je na internete, aby ju mohla konzultovať, čitateľ má prístup k záujmovému obsahu a správca stránky má z nej finančný prospech (prostredníctvom reklamy), napríklad návštevy atď. Ak si čitateľ stiahne stránku do svojho počítača, nebude musieť prejsť na online server, aby si prečítal minulý príspevok.

Stiahnutie stránok pomocou wget je také jednoduché ako:

wget -r -k http://www.sitio.com

• -r : Znamená to, že sa stiahne celá webová stránka.
• -k : To znamená, že odkazy zo stiahnutej stránky sa skonvertujú tak, aby ich bolo možné vidieť v počítačoch bez internetu.

Teraz sa veci komplikujú, keď nám administrátor stránky sťažuje ...

Aké obmedzenia môžu existovať?

Najbežnejšie, čo môžeme nájsť, je to, že prístup na web je povolený, iba ak máte uznávaného UserAgenta. Inými slovami, web rozpozná, že UserAgent, ktorý sťahuje toľko stránok, nie je jedným z „bežných“, a preto k nemu zatvorí prístup.

Tento súbor wget môžete určiť aj prostredníctvom súboru robots.txt (ako veľa ďalších podobných aplikácií) Nebudete môcť sťahovať, ako si klient želá, dobre ... no, chce to administrátor stránky, bodka 😀

Ako tieto obmedzenia obísť?

V prvom prípade založíme UserAgent pre wget, môžeme to urobiť pomocou možnosti –Užívateľský agent, tu ti ukážem ako:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Ak sa chcete v súbore robots.txt zorientovať, jednoducho tento súbor vylúčte, to znamená, nech si web wget stiahne a nezaujíma ho, čo hovorí robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = vypnuté

Teraz ... existujú ďalšie možnosti alebo parametre, pomocou ktorých môžeme web ešte viac oklamať, napríklad naznačiť, že na web vstupujeme z Googlu, tu nechávam posledný riadok so všetkým:

wget --header = "Prijať: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Je v poriadku to robiť?

To záleží ... vždy to musíte vidieť z oboch uhlov pohľadu, od správcu stránky, ale aj od čitateľa.

Na jednej strane by sa mi ako administrátorovi nepáčilo, že berú HTML kópiu mojej stránky len tak, je to tu online nie pre potešenie, pre potešenie všetkých ... naším cieľom je mať k dispozícii zaujímavý obsah, ktorý sa môžeš naučiť.

Ale na druhej strane ... sú používatelia, ktorí doma nemajú internet, ktorí by chceli mať celú sekciu Tutoriály, ktorú sme sem umiestnili ... Ja som sa dal na ich miesto (v skutočnosti som, pretože doma nemám internet) a nie je nič príjemné byť na počítači, mať problém alebo chcieť niečo robiť a nebyť schopný, pretože nemáte prístup k sieti sietí.

Či je to správne alebo nesprávne, je na každom správcovi, realite každého človeka ... to, čo by ma najviac znepokojovalo, by bola spotreba zdrojov, ktorú wget spôsobuje na serveri, ale s dobrým systémom vyrovnávacej pamäte by to malo stačiť na server netrpí.

Závery

Žiadam vás, aby ste teraz nezačali sťahovať. DesdeLinux HA HA HA!! Napríklad moja priateľka ma požiadala, aby som si stiahol nejaké Cheaty Geometry Dash (niečo ako Cheaty Geometry Dash), nebudem sťahovať celú webovú stránku, ale len otvorím požadovanú stránku a uložím ju do PDF alebo HTML alebo tak nejako, že Toto je čo by som ti odporučil.

Ak máte nejaký návod DesdeLinux ktoré chcete uložiť, uložte si to do záložiek, ako HTML alebo PDF... ale na jeden alebo dva tutoriály nie je potrebné generovať nadmernú návštevnosť a spotrebu na serveri 😉

No nič, dúfam, že je to užitočné ... Zdravím vás