Scarica un intero sito con wget anche se ci sono restrizioni

Cos'è wget?

Niente di meglio di wikipedia per spiegare in cosa consiste questo strumento:

GNU Wget è uno strumento software gratuito che consente il download di contenuti dai server web in modo semplice. Il suo nome deriva da World Wide Web (w), e da "get" (in inglese get), questo significa: get dal WWW.

Attualmente supporta i download utilizzando i protocolli HTTP, HTTPS e FTP.

Tra le caratteristiche più importanti che offre wget c'è la possibilità di un facile download ricorsivo di mirror complessi, conversione di link per visualizzare localmente il contenuto HTML, supporto per proxy ...

De wget Ne abbiamo già parlato abbastanza qui a DesdeLinux. Infatti ya Avevamo visto come scaricare un sito completo con wget, il problema è che oggigiorno gli amministratori non sempre permettono a nessuno di scaricare tutto il proprio sito proprio così, non è qualcosa che gli piace molto ... e, ovviamente, ho capito. Il sito è lì su Internet per consultarlo, il lettore accede ai contenuti di interesse e l'amministratore del sito ne beneficia economicamente bene (attraverso la pubblicità), come visite, ecc. Se il lettore scarica il sito sul suo computer, non dovrà andare online per consultare un post precedente.

Scaricare un sito con wget è semplice come:

wget -r -k http://www.sitio.com

• -r : Indica che verrà scaricato l'intero sito Web.
• -k : Indica che i collegamenti del sito scaricato verranno convertiti per poterli visualizzare su computer senza Internet.

Ora, le cose si complicano quando l'amministratore del sito ci rende difficile ...

Quali restrizioni potrebbero esistere?

Il più comune che abbiamo riscontrato è che l'accesso al sito è consentito solo se si dispone di un agente utente riconosciuto. In altre parole, il sito riconoscerà che lo UserAgent che sta scaricando tante pagine non è uno di quelli "normali" e quindi chiuderà l'accesso.

Inoltre tramite il file robots.txt puoi specificare che wget (come un mucchio di app più simili) Non sarai in grado di scaricare come desidera il cliente, beh ... beh, l'amministratore del sito lo vuole, punto 😀

Come aggirare queste restrizioni?

Per il primo caso stabiliremo un UserAgent su wget, possiamo farlo con l'opzione –User-agent, qui ti mostro come:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Ora, per aggirare il file robots.txt, escludi quel file, cioè lascia che wget scarichi il sito e non importa cosa dice il file robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Ora ... ci sono altre opzioni o parametri che possiamo utilizzare per ingannare ancora di più il sito, ad esempio indicare che entriamo nel sito da Google, qui lascio l'ultima riga con tutto:

wget --header = "Accept: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Va bene farlo?

Dipende ... devi sempre vederlo da entrambi i punti di vista, dall'amministratore del sito ma anche dal lettore.

Da un lato, come amministratore, non vorrei che stessero prendendo una copia HTML del mio sito proprio così, è qui online non per piacere, per il divertimento di tutti ... il nostro obiettivo è avere contenuti interessanti disponibile, che puoi imparare.

Ma d'altra parte ... ci sono utenti che non hanno internet a casa, che vorrebbero avere l'intera sezione Tutorial che abbiamo messo qui ... io mi metto al loro posto (in effetti lo sono, perché a casa non ho internet) e non è piacevole stare al computer, avere un problema o voler fare qualcosa e non poterlo fare perché non si ha accesso alla rete delle reti.

Che sia giusto o sbagliato dipende da ogni amministratore, dalla realtà di ognuno ... quello che mi preoccuperebbe di più sarebbe il consumo di risorse che wget causa sul server, ma con un buon sistema di cache dovrebbe essere sufficiente per il server no soffrire.

Conclusioni

Ti chiedo di non avviare il download adesso. DesdeLinux HAHAHA!! Ad esempio, la mia ragazza mi ha chiesto di scaricare alcuni Trucchi per Geometry Dash (qualcosa come Trucchi per Geometry Dash), non scaricherò l'intero sito web, ma aprirò semplicemente la pagina desiderata e la salverò in PDF o HTML o qualcosa del genere, questo è cosa ti consiglierei.

Se hai qualche tutorial DesdeLinux che vuoi salvare, salvalo nei tuoi segnalibri, come HTML o PDF... ma, per uno o due tutorial non è necessario generare traffico e consumo eccessivi sul server 😉

Beh niente, spero sia utile ... Un saluto