Stáhněte si celý web s wget, i když existují omezení

Co je to Wget?

Nic lepšího než Wikipedia vysvětlit, z čeho se tento nástroj skládá:

GNU Wget je bezplatný softwarový nástroj, který umožňuje snadné stahování obsahu z webových serverů. Jeho název je odvozen od World Wide Web (w) a od „get“ (v angličtině get), to znamená: get from the WWW.

V současné době podporuje stahování pomocí protokolů HTTP, HTTPS a FTP.

Mezi nejvýznamnější funkce, které nabízí wget existuje možnost snadného rekurzivního stahování komplexních zrcadel, konverze odkazů k lokálnímu zobrazení obsahu HTML, podpora proxy ...

De wget Už jsme toho tady namluvili dost DesdeLinux. Ve skutečnosti ya Viděli jsme, jak stáhnout kompletní web s wget, problém je v tom, že v dnešní době administrátoři neumožňují vždy komukoli stáhnout celý jejich web jen tak, není to něco, co by se jim opravdu líbilo ... a samozřejmě to chápu. Stránka je na internetu, aby ji mohla konzultovat, čtenář přistupuje k obsahu, který vás zajímá, a administrátor stránky finančně výhodně (prostřednictvím reklamy), jako jsou návštěvy atd. Pokud si čtenář stáhne web do svého počítače, nebude muset chodit online, aby si mohl prohlédnout předchozí příspěvek.

Stažení webu pomocí wget je stejně jednoduché jako:

wget -r -k http://www.sitio.com

• -r : To znamená, že bude stažen celý web.
• -k : To znamená, že odkazy staženého webu budou převedeny tak, aby byly viditelné na počítačích bez internetu.

Nyní se věci komplikují, když nám administrátor webu ztěžuje ...

Jaká omezení mohou existovat?

Nejběžnější, co můžeme zjistit, je, že přístup na web je povolen, pouze pokud máte uznaného UserAgenta. Jinými slovy, web rozpozná, že UserAgent, který stahuje tolik stránek, není jednou z „normálních“, a proto uzavře přístup.

Prostřednictvím souboru robots.txt můžete také zadat tento wget (jako spousta dalších podobných aplikací) Nebudete moci stahovat, jak si klient přeje, no ... no, chce to administrátor stránek, tečka 😀

Jak obejít tato omezení?

V prvním případě vytvoříme UserAgent pro wget, můžeme to udělat s možností –Uživatelský agent, zde vám ukážu jak:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Chcete-li soubor robots.txt obejít, jednoduše tento soubor vyloučte, to znamená, že nechte wget stáhnout web a je jedno, co říká soubor robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Nyní ... existují další možnosti nebo parametry, které můžeme použít, abychom web ještě více oklamali, například naznačují, že vstupujeme na web z Google, zde nechávám poslední řádek se vším:

wget --header = "Přijmout: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Je v pořádku to dělat?

To záleží ... vždy to musíte vidět z obou pohledů, od správce webu, ale také od čtenáře.

Na jedné straně by se mi jako administrátorovi nelíbilo, že berou HTML kopii mého webu jen tak, je to tady online ne pro potěšení, pro potěšení všech ... naším cílem je mít zajímavý obsah k dispozici, které se můžete naučit.

Ale na druhou stranu ... jsou uživatelé, kteří doma nemají internet, kteří by chtěli mít celou sekci Tutoriály, kterou jsme sem umístili ... Vložil jsem se na jejich místo (ve skutečnosti jsem, protože doma nemám internet) a není příjemné být na počítači, mít problém nebo chtít něco udělat a neumět, protože nemáte přístup k síti sítí.

Ať už je to správné nebo špatné, záleží na každém správci, realitě každého ... co by mě nejvíc znepokojovalo, by byla spotřeba zdrojů, kterou wget na serveru způsobuje, ale s dobrým systémem mezipaměti by to mělo stačit pro server netrpět.

Závěry

Žádám vás, abyste nyní nezačínali stahovat. DesdeLinux HA HA HA!! Moje přítelkyně mě například požádala, abych si stáhl nějaké Cheaty Geometry Dash (něco jako Cheaty Geometry Dash), nebudu stahovat celý web, ale jen otevřu požadovanou stránku a uložím ji do PDF nebo HTML nebo tak něco, že Tohle je co bych ti doporučil.

Pokud máte nějaký tutoriál DesdeLinux které chcete uložit, uložte si to do záložek, jako HTML nebo PDF... ale pro jeden nebo dva tutoriály není nutné generovat nadměrný provoz a spotřebu na serveru 😉

No nic, doufám, že je to užitečné ... Zdravím