Ladda ner en hel webbplats med wget även om det finns begränsningar

Vad är wget?

Inget bättre än wikipedia för att förklara vad detta verktyg består av:

GNU Wget är ett gratis programverktyg som gör det möjligt att ladda ner innehåll från webbservrar på ett enkelt sätt. Dess namn härstammar från World Wide Web (w) och från "get" (på engelska get) betyder detta: get from the WWW.

För närvarande stöder den nedladdningar med HTTP-, HTTPS- och FTP-protokoll.

Bland de mest framstående funktionerna som den erbjuder wget det finns möjlighet till enkel nedladdning av komplexa speglar på ett rekursivt sätt, konvertering av länkar för att visa HTML-innehåll lokalt, stöd för proxyservrar...

De wget Vi har redan pratat tillräckligt här kl DesdeLinux. Faktiskt ya Vi hade sett hur man laddar ner en komplett webbplats med wget, problemet är att administratörer idag inte alltid låter någon ladda ner hela sin webbplats precis så, det är inte något som de verkligen gillar ... och självklart förstår jag. Webbplatsen finns där på Internet för att konsultera den, läsaren får tillgång till innehåll av intresse och webbplatsadministratören gynnas väl ekonomiskt (av reklam), som vid besök etc. Om läsaren laddar ner webbplatsen till sin dator behöver han inte gå online för att konsultera ett tidigare inlägg.

Att ladda ner en webbplats med wget är så enkelt som:

wget -r -k http://www.sitio.com

• -r : Detta indikerar att hela webbplatsen kommer att laddas ner.
• -k : Detta indikerar att länkarna till den nedladdade webbplatsen kommer att konverteras för att visas på datorer utan internet.

Nu blir saker och ting komplicerade när webbplatsadministratören gör det svårt för oss ...

Vilka begränsningar kan finnas?

Det vanligaste vi kunde hitta är att åtkomst till webbplatsen endast är tillåten om du har en erkänd UserAgent. Med andra ord kommer webbplatsen att erkänna att UserAgent som laddar ner så många sidor inte är en av de "normala" och därför stänger åtkomst.

Även genom robots.txt-filen kan du ange den wget (som en massa fler liknande appar) Du kommer inte att kunna ladda ner som klienten önskar, ja ... väl, webbplatsadministratören vill ha det, period 😀

Hur kringgår man dessa begränsningar?

För det första fallet skapar vi en UserAgent att wget, vi kan göra detta med alternativet –Användaragent, här visar jag dig hur:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

För att komma runt robots.txt, exkludera bara den filen, det vill säga, låt wget ladda ner webbplatsen och bryr dig inte om vad robots.txt säger:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = av

Nu ... det finns andra alternativ eller parametrar som vi kan använda för att lura webbplatsen ännu mer, till exempel indikerar att vi går in på webbplatsen från Google, här lämnar jag den sista raden med allt:

wget --header = "Acceptera: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robotar = off -k

Är det ok att göra detta?

Det beror på ... du måste alltid se det från båda synvinklarna, från webbplatsadministratören men också från läsaren.

Å ena sidan, som administratör, skulle jag inte vilja att de tar en HTML-kopia av min webbplats precis så, det är här online inte för nöje, för att njuta av alla ... vårt mål är att ha intressant innehåll tillgängligt för dig, som du kan lära dig.

Men å andra sidan ... det finns användare som inte har internet hemma, som vill ha hela avsnittet Tutorials som vi har lagt här ... Jag placerade mig själv på deras plats (det är jag faktiskt, för hemma har jag inte internet) och det är inte trevligt att vara på datorn, ha problem eller vill göra något och inte kunna eftersom du inte har tillgång till nätverket av nätverk.

Oavsett om det är rätt eller fel är det upp till varje administratör, var och en är verklighet ... det som mest berör mig skulle vara den resursförbrukning som wget orsakar på servern, men med ett bra cachesystem borde det vara tillräckligt för servern lider inte.

Slutsatser

Jag ber dig att inte börja ladda ner nu. DesdeLinux HA HA HA!! Till exempel, min flickvän bad mig att ladda ner några Geometry Dash Cheats (något liknande Geometry Dash Cheats), jag kommer inte att ladda ner hela webbplatsen, utan jag kommer bara att öppna den önskade sidan och spara den i PDF eller HTML eller något, det här är vad jag skulle rekommendera dig.

Om du har någon tutorial DesdeLinux som du vill spara, spara det i dina bokmärken, som HTML eller PDF... men för en eller två tutorials är det inte nödvändigt att generera överdriven trafik och konsumtion på servern 😉

Nåväl ingenting, jag hoppas att det är användbart ... Hälsningar