Загрузите весь сайт с помощью wget, даже если есть ограничения

Что такое wget?

Нет ничего лучше, чем Википедия. чтобы объяснить, из чего состоит этот инструмент:

GNU Wget это бесплатный программный инструмент, который позволяет простым способом загружать контент с веб-серверов. Его название происходит от World Wide Web (w), а от «get» (на английском языке get) это означает: получить из WWW.

В настоящее время он поддерживает загрузки с использованием протоколов HTTP, HTTPS и FTP.

Среди самых выдающихся функций, которые он предлагает Wget есть возможность простой загрузки сложных зеркал рекурсивно, преобразование ссылок для локального отображения HTML-контента, поддержка прокси ...

De Wget Мы здесь уже достаточно поговорили DesdeLinux. По факту ya Мы видели, как загрузить полный веб-сайт с помощью wget, проблема в том, что в настоящее время администраторы не всегда позволяют кому-либо загружать весь свой веб-сайт просто так, это не то, что им действительно нравится ... и, очевидно, я понимаю. Сайт находится в Интернете для просмотра, читатель получает доступ к интересующему содержанию, а администратор сайта получает финансовую выгоду (за счет рекламы), например, посещения и т. Д. Если читатель загрузит сайт на свой компьютер, ему не придется выходить в Интернет, чтобы просмотреть предыдущую публикацию.

Скачать сайт с помощью wget очень просто:

wget -r -k http://www.sitio.com

• -r : Это означает, что будет загружен весь веб-сайт.
• -k : Это означает, что ссылки загруженного сайта будут преобразованы для просмотра на компьютерах без Интернета.

Теперь все усложняется, когда администратор сайта нам мешает ...

Какие могут быть ограничения?

Чаще всего мы можем обнаружить, что доступ к сайту разрешен только в том случае, если у вас есть признанный агент UserAgent. Другими словами, сайт распознает, что UserAgent, который загружает такое количество страниц, не является одним из «обычных», и поэтому закроет доступ.

Также через файл robots.txt вы можете указать, что wget (нравится еще куча похожих приложений) Вы не сможете скачать по желанию клиента, ну ... ну администратор сайта хочет, точка 😀

Как обойти эти ограничения?

В первом случае мы установим UserAgent для wget, мы можем сделать это с помощью опции –Пользователь-агент, здесь я покажу вам, как:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Теперь, чтобы обойти robots.txt, просто исключите этот файл, то есть позвольте wget загрузить сайт и не обращайте внимания на то, что говорит robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Теперь ... есть другие варианты или параметры, которые мы можем использовать, чтобы еще больше обмануть сайт, например, указать, что мы заходим на сайт из Google, здесь я оставляю последнюю строку со всем:

wget --header = "Accept: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Это нормально?

Это зависит ... вы всегда должны видеть это с обеих точек зрения, с точки зрения администратора сайта, но также и с точки зрения читателя.

С одной стороны, как администратор, я бы не хотел, чтобы они брали HTML-копию моего сайта вот так, она здесь в сети не для удовольствия, для всеобщего удовольствия ... наша цель - иметь доступный интересный контент вам, что вы можете узнать.

Но, с другой стороны ... есть пользователи, у которых дома нет интернета, которые хотели бы иметь весь раздел Учебников, который мы разместили здесь ... Я ставлю себя на их место (на самом деле я, потому что дома у меня нет интернета) и неприятно находиться за компьютером, имея проблемы или желая что-то сделать, но не имея возможности, потому что у вас нет доступа к сети сетей.

Правильно это или нет - дело каждого администратора, реальность каждого ... меня больше всего беспокоит потребление ресурсов, которое wget вызывает на сервере, но с хорошей системой кеширования этого должно быть достаточно, чтобы сервер не страдать.

Выводы

Прошу вас не начинать скачивать сейчас. DesdeLinux ХА ХА ХА!! Например, моя девушка попросила меня скачать некоторые читы для Geometry Dash (что-то вроде читов для Geometry Dash), я не буду скачивать весь сайт, а просто открою нужную страницу и сохраню ее в PDF или HTML или что-то в этом роде, вот это что бы я вам порекомендовал.

Если у вас есть учебник DesdeLinux то, что вы хотите сохранить, сохраните в закладках в формате HTML или PDF... но для одного или двух уроков не обязательно генерировать чрезмерный трафик и потребление на сервере 😉

Ну ничего, надеюсь пригодится ... привет