Изтеглете цял сайт с wget, дори ако има ограничения

Какво е wget?

Нищо по-добро от това Уикипедия за да обясня от какво се състои този инструмент:

GNU Wget е безплатен софтуерен инструмент, който позволява изтеглянето на съдържание от уеб сървъри по лесен начин. Името му произлиза от World Wide Web (w), а от „get“ (на английски get), това означава: вземете от WWW.

В момента той поддържа изтегляния с помощта на HTTP, HTTPS и FTP протоколи.

Сред най-забележителните функции, които предлага Wget има възможност за лесно изтегляне на сложни огледала рекурсивно, конвертиране на връзки за показване на HTML съдържание локално, поддръжка за прокси сървъри ...

De Wget hemos hablado ya bastante aquí en DesdeLinux. Всъщност ya Видяхме как да изтеглите пълен уебсайт с wget, проблемът е, че в днешно време администраторите не винаги позволяват на никого да изтегля целия им уебсайт просто така, не е нещо, което наистина харесва ... и, очевидно разбирам. Сайтът е в Интернет, за да бъде консултиран, читателят получава достъп до интересуващо го съдържание и администраторът на сайта се възползва финансово добре (чрез реклама), като посещения и т.н. Ако читателят изтегли сайта на компютъра си, няма да се налага да влиза в мрежа, за да се консултира с предишна публикация.

За да изтеглите сайт с wget е толкова просто, колкото:

wget -r -k http://www.sitio.com

• -r : Това означава, че целият уебсайт ще бъде изтеглен.
• -k : Това показва, че връзките на изтегления сайт ще бъдат преобразувани, за да се виждат на компютри без интернет.

Сега нещата се усложняват, когато администраторът на сайта ни затруднява ...

Какви ограничения могат да съществуват?

Най-често срещаното, което бихме могли да открием, е, че достъпът до сайта е разрешен само ако имате разпознат UserAgent. С други думи, сайтът ще разпознае, че UserAgent, който изтегля толкова много страници, не е от „нормалните“ и следователно ще затвори достъпа.

Също така чрез файла robots.txt можете да посочите този wget (като още куп подобни приложения) Няма да можете да изтеглите, както желае клиентът, добре ... добре, администраторът на сайта го иска, точка 😀

Как да заобиколим тези ограничения?

За първия случай ще създадем UserAgent за wget, можем да направим това с опцията –Потребителски агент, тук ви показвам как:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Сега, за да заобиколите robots.txt, просто изключете този файл, т.е. оставете wget да изтегли сайта и не се интересува какво казва robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Сега ... има и други опции или параметри, които можем да използваме, за да заблудим сайта още повече, например, да посочим, че влизаме в сайта от Google, тук оставям последния ред с всичко:

wget --header = "Приемам: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Добре ли е да направите това?

Това зависи ... винаги трябва да го виждате и от двете гледни точки, от администратора на сайта, но и от читателя.

От една страна, като администратор, не бих искал те да вземат HTML копие на моя сайт просто така, той е тук онлайн не за удоволствие, за удоволствие на всички ... нашата цел е да имаме интересно съдържание налични, които можете да научите.

Но, от друга страна ... има потребители, които нямат интернет у дома, които биха искали да имат целия раздел с уроци, който сме поставили тук ... Поставих се на тяхно място (всъщност съм, защото вкъщи нямам интернет) и не е приятно да си на компютъра, да имаш проблем или да искаш да направиш нещо и да не можеш, защото нямаш достъп до мрежата.

Дали е правилно или грешно, зависи от всеки администратор, реалността на всеки ... това, което най-много би ме тревожило, би било потреблението на ресурси, което wget причинява на сървъра, но с добра кеш система би трябвало да е достатъчно за сървъра не страдат.

Заключения

Les pido que ahora no se pongan a estar todos descargando DesdeLinux JAJAJA!! Por ejemplo, mi novia me pidió que descargara unos trucos de Geometry Dash (algo así como Geometry Dash Cheats), no descargaré el sitio web completo, sino que simplemente abriré la página deseada y la guardaré en PDF o en HTML o algo así, eso es lo que les recomendaría a ustedes.

Si tienes algún tutorial de DesdeLinux que deseas guardar, guárdalo en tus marcadores, como HTML o PDF … pero, por uno o dos tutoriales no hace falta generar un tráfico y consumo excesivo en el servidor 😉

Ами нищо, надявам се да е полезно ... Поздрави