Last ned et helt nettsted med wget selv om det er begrensninger

Hva er wget?

Ingenting bedre enn Wikipedia for å forklare hva dette verktøyet består av:

GNU Wget er et gratis programvareverktøy som gjør det mulig å laste ned innhold fra webservere på en enkel måte. Navnet stammer fra World Wide Web (w), og fra "get" (på engelsk get), betyr dette: get from the WWW.

Foreløpig støtter den nedlastinger ved hjelp av HTTP-, HTTPS- og FTP-protokollene.

Blant de mest fremragende funksjonene den tilbyr wget det er muligheten for enkel nedlasting av komplekse speil rekursivt, konvertering av lenker for å vise HTML-innhold lokalt, støtte for proxyer ...

De wget hemos hablado ya bastante aquí en DesdeLinux. Faktisk ya Vi hadde sett hvordan vi lastet ned et komplett nettsted med wget, problemet er at administratorer i dag ikke alltid tillater noen å laste ned hele nettstedet akkurat slik, det er ikke noe de virkelig liker ... og, selvfølgelig, forstår jeg. Nettstedet er der på internett for konsultasjon, leseren får tilgang til innhold av interesse og nettstedsadministratoren har økonomiske fordeler (gjennom reklame), for eksempel besøk osv. Hvis leseren laster ned nettstedet til datamaskinen, trenger de ikke å gå online for å konsultere et tidligere innlegg.

Å laste ned et nettsted med wget er så enkelt som:

wget -r -k http://www.sitio.com

• -r : Dette indikerer at hele nettstedet blir lastet ned.
• -k : Dette indikerer at koblingene til det nedlastede nettstedet blir konvertert til å vises på datamaskiner uten internett.

Nå blir ting komplisert når nettstedsadministratoren gjør det vanskelig for oss ...

Hvilke begrensninger kan eksistere?

Det vanligste vi kunne finne er at tilgang til nettstedet bare er tillatt hvis du har en anerkjent UserAgent. Nettstedet vil med andre ord anerkjenne at UserAgent som laster ned så mange sider ikke er en av de "normale" sidene, og vil derfor lukke tilgangen.

Også gjennom robots.txt-filen kan du spesifisere den wget (som en haug med flere lignende apper) Du vil ikke kunne laste ned slik klienten ønsker, vel ... vel, nettstedsadministrator vil ha det, periode 😀

Hvordan omgå disse begrensningene?

For det første vil vi opprette en UserAgent for å wget, vi kan gjøre dette med alternativet -Bruker agent, her viser jeg deg hvordan:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Nå, for å komme deg rundt robots.txt, er det bare å ekskludere den filen, det vil si la wget laste ned siden og ikke bryr seg om hva robots.txt sier:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e roboter = av

Nå ... det er andre alternativer eller parametere som vi kan bruke til å lure nettstedet enda mer, for eksempel, indikere at vi kommer inn på nettstedet fra Google, her forlater jeg sluttlinjen med alt:

wget --header = "Godta: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e roboter = off -k

Er det greit å gjøre dette?

Det avhenger ... du må alltid se det fra begge synspunkter, fra nettstedsadministratoren, men også fra leseren.

På den ene siden, som administrator, vil jeg ikke at de tar en HTML-kopi av nettstedet mitt akkurat slik, det er her online ikke for fornøyelse, til glede for alle ... Målet vårt er å ha interessant innhold tilgjengelig, som du kan lære.

Men på den annen side ... det er brukere som ikke har internett hjemme, som vil ha hele opplæringsdelen som vi har lagt her ... Jeg setter meg selv på deres sted (faktisk er jeg det, for hjemme har jeg ikke internett) og det er ikke hyggelig å være på datamaskinen, ha et problem eller ønsker å gjøre noe og ikke være i stand til det fordi du ikke har tilgang til nettverket.

Hvorvidt det er riktig eller galt, er opp til hver administrator, hver enkeltes virkelighet ... det som mest bekymrer meg, er ressursforbruket som wget forårsaker på serveren, men med et godt cache-system bør det være nok for serveren ikke lide.

Konklusjoner

Les pido que ahora no se pongan a estar todos descargando DesdeLinux JAJAJA!! Por ejemplo, mi novia me pidió que descargara unos trucos de Geometry Dash (algo así como Geometry Dash Cheats), no descargaré el sitio web completo, sino que simplemente abriré la página deseada y la guardaré en PDF o en HTML o algo así, eso es lo que les recomendaría a ustedes.

Si tienes algún tutorial de DesdeLinux que deseas guardar, guárdalo en tus marcadores, como HTML o PDF … pero, por uno o dos tutoriales no hace falta generar un tráfico y consumo excesivo en el servidor 😉

Vel ingenting, jeg håper det er nyttig ... Hilsen