Téléchargez un site entier avec wget même s'il y a des restrictions

Qu'est-ce que wget?

Rien de mieux que Wikipédia pour expliquer en quoi consiste cet outil:

GNU Wget est un outil logiciel gratuit qui permet le téléchargement de contenu à partir de serveurs Web de manière simple. Son nom dérive du World Wide Web (w), et de "get" (en anglais get), cela signifie: obtenir du WWW.

Actuellement, il prend en charge les téléchargements en utilisant les protocoles HTTP, HTTPS et FTP.

Parmi les fonctionnalités les plus remarquables qu'il offre wget il y a la possibilité de télécharger facilement des miroirs complexes de manière récursive, la conversion de liens pour afficher du contenu HTML localement, le support des proxies ...

De wget Nous avons déjà assez parlé ici à DesdeLinux. En fait ya Nous avions vu comment télécharger un site Web complet avec wget, le problème est que de nos jours, les administrateurs ne permettent pas toujours à quiconque de télécharger l'intégralité de leur site Web comme ça, ce n'est pas quelque chose qu'ils aiment vraiment ... et, évidemment, je comprends. Le site est là sur Internet pour le consulter, le lecteur accède aux contenus qui l'intéressent et l'administrateur du site en profite financièrement (par la publicité), comme les visites, etc. Si le lecteur télécharge le site sur son ordinateur, il n'aura pas à se connecter pour consulter un post précédent.

Pour télécharger un site avec wget, c'est aussi simple que:

wget -r -k http://www.sitio.com

• -r : Cela indique que l'ensemble du site Web sera téléchargé.
• -k : Cela indique que les liens du site téléchargé seront convertis pour être vus sur des ordinateurs sans internet.

Maintenant, les choses se compliquent lorsque l'administrateur du site nous complique la tâche ...

Quelles restrictions pourraient exister?

Le plus courant que nous ayons pu trouver est que l'accès au site n'est autorisé que si vous disposez d'un UserAgent reconnu. En d'autres termes, le site reconnaîtra que l'UserAgent qui télécharge autant de pages n'est pas l'un des "normaux" et fermera donc l'accès.

Par le biais du fichier robots.txt, vous pouvez également spécifier que wget (comme un tas d'applications similaires) Vous ne pourrez pas télécharger comme le client le souhaite, eh bien ... bon, l'administrateur du site le souhaite, point final 😀

Comment contourner ces restrictions?

Pour le premier cas, nous établirons un UserAgent à wget, nous pouvons le faire avec l'option -Agent utilisateur, ici je vous montre comment:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Maintenant, pour contourner le fichier robots.txt, excluez simplement ce fichier, c'est-à-dire laissez wget télécharger le site et ne vous souciez pas de ce que dit robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Maintenant ... il existe d'autres options ou paramètres que nous pouvons utiliser pour tromper encore plus le site, par exemple, indiquez que nous entrons sur le site depuis Google, ici je laisse la dernière ligne avec tout:

wget --header = "Accepter: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Est-ce que ça va?

Cela dépend ... il faut toujours le voir des deux points de vue, de l'administrateur du site mais aussi du lecteur.

D'une part, en tant qu'administrateur, je n'aimerais pas qu'ils prennent une copie HTML de mon site comme ça, c'est ici en ligne pas pour le plaisir, pour le plaisir de tous ... notre objectif est d'avoir un contenu intéressant à votre disposition, que vous pouvez apprendre.

Mais, d'un autre côté ... il y a des utilisateurs qui n'ont pas internet chez eux, qui aimeraient avoir toute la section Tutoriels que nous avons mise ici ... je me mets à leur place (en fait je le suis, car chez moi je n'ai pas internet) et il n'est pas agréable d'être sur l'ordinateur, d'avoir un problème ou de vouloir faire quelque chose et ne le peut pas parce que vous n'avez pas accès au réseau de réseaux.

Que ce soit bien ou mal dépend de chaque administrateur, la réalité de chacun ... ce qui me préoccuperait le plus serait la consommation de ressources que wget provoque sur le serveur, mais avec un bon système de cache cela devrait suffire pour que le serveur ne le fasse pas souffrir.

Conclusions

Je vous demande de ne pas commencer le téléchargement maintenant. DesdeLinux HAHAHA!! Par exemple, ma petite amie m'a demandé de télécharger des Geometry Dash Cheats (quelque chose comme Geometry Dash Cheats), je ne téléchargerai pas l'intégralité du site Web, mais je vais simplement ouvrir la page souhaitée et l'enregistrer au format PDF ou HTML ou quelque chose comme ça, c'est ce que je vous recommanderais.

Si vous avez un tuto DesdeLinux que vous souhaitez sauvegarder, enregistrez-le dans vos favoris, au format HTML ou PDF... mais, pour un ou deux tutoriels il n'est pas nécessaire de générer un trafic et une consommation excessifs sur le serveur 😉

Eh bien rien, j'espère que c'est utile ... Salutations