Download een hele site met wget, zelfs als er beperkingen zijn

Wat is wget?

Niets beter dan Wikipedia om uit te leggen waaruit deze tool bestaat:

GNU Wget is een gratis softwaretool waarmee u op een eenvoudige manier inhoud van webservers kunt downloaden. De naam is afgeleid van World Wide Web (w), en van "get" (in het Engels get), dit betekent: haal van het WWW.

Momenteel ondersteunt het downloads met behulp van de HTTP-, HTTPS- en FTP-protocollen.

Een van de meest opvallende kenmerken die het biedt wget er is de mogelijkheid om eenvoudig recursief complexe mirrors te downloaden, koppelingen om te zetten om HTML-inhoud lokaal weer te geven, ondersteuning voor proxy's ...

De wget We hebben hier al genoeg gepraat DesdeLinux. In feite ya We hadden gezien hoe je een complete website kunt downloaden met wget, het probleem is dat beheerders tegenwoordig niet altijd iedereen zomaar hun hele website laten downloaden, het is niet iets dat ze echt leuk vinden ... en ik begrijp het natuurlijk. De site is er op internet om hem te raadplegen, de lezer krijgt toegang tot interessante inhoud en de sitebeheerder profiteert financieel goed (via advertenties), zoals bezoeken, enz. Als de lezer de site op zijn computer downloadt, hoeft hij niet online te gaan om een ​​eerder bericht te raadplegen.

Het downloaden van een site met wget is zo simpel als:

wget -r -k http://www.sitio.com

• -r : Dit geeft aan dat de hele website wordt gedownload.
• -k : Dit geeft aan dat de links van de gedownloade site worden geconverteerd om ze te kunnen zien op computers zonder internet.

Nu wordt de zaak ingewikkeld wanneer de sitebeheerder het ons moeilijk maakt...

Welke beperkingen kunnen er zijn?

De meest voorkomende die we konden vinden, is dat toegang tot de site alleen is toegestaan ​​als je een erkende UserAgent hebt. Met andere woorden, de site zal herkennen dat de UserAgent die zoveel pagina's aan het downloaden zijn, niet een van de "normale" is en zal daarom de toegang sluiten.

Ook via het robots.txt-bestand kunt u specificeren dat wget (zoals een heleboel meer vergelijkbare apps) niet kunnen downloaden zoals de klant wenst, nou... nou, de sitebeheerder wil het zo, punt uit 😀

Hoe deze beperkingen omzeilen?

Voor het eerste geval zullen we een UserAgent opzetten om te wget, dit kunnen we doen met de optie - Gebruiker-agent, hier laat ik je zien hoe:

wget --user-agent="Mozilla/5.0 (X11; Linux amd64; rv:32.0b4) Gecko/20140804164216 ArchLinux KDE Firefox/32.0b4" -r http://www.site.com -k

Om de robots.txt te omzeilen, volstaat het om dat bestand uit te sluiten, dat wil zeggen dat wget de site downloadt en het niet uitmaakt wat robots.txt zegt:

wget --user-agent="Mozilla/5.0 (X11; Linux amd64; rv:32.0b4) Gecko/20140804164216 ArchLinux KDE Firefox/32.0b4" -r http://www.site.com -k -e robots=off

Nu... er zijn andere opties of parameters die we kunnen gebruiken om de site verder te misleiden, bijvoorbeeld om aan te geven dat we de site zijn binnengekomen via Google, hier laat ik de laatste regel met alles:

wget --header="Accepteren: tekst/html" --user-agent="Mozilla/5.0 (X11; Linux amd64; rv:32.0b4) Gecko/20140804164216 ArchLinux KDE Firefox/32.0b4" --referer=http:/ /www.google.com -r http://www.site.com -e robots=off -k

Is het oké om dit te doen?

Dat hangt ervan af... je moet het altijd van beide kanten bekijken, van de sitebeheerder maar ook van de lezer.

Aan de ene kant zou ik als beheerder niet willen dat ze zomaar een HTML-kopie van mijn site maken, het is hier online, niet voor de lol, voor ieders plezier... ons doel is om interessante inhoud beschikbaar te hebben voor dat ze kunnen leren.

Maar aan de andere kant... er zijn gebruikers die thuis geen internet hebben, die graag de hele Tutorials-sectie willen hebben die we hier hebben geplaatst... Ik plaats mezelf in hun plaats (in feite ben ik, want thuis heb ik geen internet) en het is niet fijn om achter de computer te zitten, een probleem te hebben of iets te willen doen en niet te kunnen omdat je geen toegang hebt tot het netwerk van netwerken.

Of het goed of slecht is, is aan elke beheerder, aan ieders realiteit ... waar ik me het meest zorgen over zou maken, zou het verbruik van bronnen zijn dat de wget veroorzaakt in de server, maar met een goed cachingsysteem zou het genoeg moeten zijn voor de server lijdt er niet onder.

Conclusies

Ik vraag u om nu niet te beginnen met downloaden. DesdeLinux HA HA HA!! Mijn vriendin heeft me bijvoorbeeld gevraagd om enkele Geometry Dash-cheats te downloaden (zoiets als Geometry Dash Cheats). Ik zal niet de hele website downloaden, maar ik zal gewoon de gewenste pagina openen en deze opslaan in PDF of HTML of zoiets, dat is wat ik je zou aanraden.

Als je een tutorial hebt DesdeLinux dat u wilt opslaan, sla het op in uw bladwijzers, als HTML of PDF... maar voor een of twee tutorials is het niet nodig om overmatig verkeer en verbruik op de server te genereren 😉

Nou, niets, ik hoop dat het nuttig is ... Groeten