Pobierz całą witrynę za pomocą wget, nawet jeśli istnieją ograniczenia

Co to jest wget?

Nie ma nic lepszego niż Wikipedia aby wyjaśnić, z czego składa się to narzędzie:

GNU Wget to bezpłatne narzędzie programowe, które w prosty sposób umożliwia pobieranie treści z serwerów internetowych. Jego nazwa pochodzi od World Wide Web (w), a od „get” (w języku angielskim get), co oznacza: pobierz z WWW.

Obecnie obsługuje pobieranie przy użyciu protokołów HTTP, HTTPS i FTP.

Jedną z najbardziej wyjątkowych funkcji, jakie oferuje wget istnieje możliwość łatwego pobierania złożonych serwerów lustrzanych rekurencyjnie, konwersja linków do lokalnego wyświetlania treści HTML, obsługa serwerów proxy ...

De wget Wystarczająco już rozmawialiśmy tutaj o godz DesdeLinux. w rzeczywistości ya Widzieliśmy, jak pobrać kompletną stronę internetową za pomocą wget, problem polega na tym, że obecnie administratorzy nie zawsze pozwalają nikomu pobrać całą swoją witrynę po prostu w ten sposób, nie jest to coś, co naprawdę lubią ... i oczywiście rozumiem. Witryna jest dostępna w Internecie, aby się z nią zapoznać, czytelnik uzyskuje dostęp do interesujących ją treści, a administrator witryny czerpie dobre korzyści finansowe (poprzez reklamy), takie jak odwiedziny itp. Jeśli czytelnik pobierze witrynę na swój komputer, nie będzie musiał przechodzić do trybu online, aby zapoznać się z poprzednim postem.

Aby pobrać witrynę za pomocą wget, jest tak proste, jak:

wget -r -k http://www.sitio.com

• -r : Oznacza to, że zostanie pobrana cała witryna.
• -k : Oznacza to, że linki do pobranej witryny zostaną przekonwertowane, aby można było je zobaczyć na komputerach bez internetu.

Teraz sytuacja się komplikuje, gdy administrator witryny nam to utrudnia ...

Jakie ograniczenia mogą obowiązywać?

Najczęstszym stwierdzeniem jest to, że dostęp do witryny jest dozwolony tylko wtedy, gdy masz uznanego agenta użytkownika. Innymi słowy, witryna rozpozna, że ​​UserAgent, który pobiera tak wiele stron, nie należy do „normalnych” i dlatego zablokuje dostęp.

Również w pliku robots.txt możesz określić, że wget (jak kilka innych podobnych aplikacji) Nie będzie można pobierać zgodnie z życzeniem klienta, no cóż, administrator witryny tego chce, kropka 😀

Jak obejść te ograniczenia?

W pierwszym przypadku ustalimy UserAgent do wget, możemy to zrobić za pomocą opcji -Agent użytkownika, tutaj pokażę ci, jak:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Teraz, aby obejść plik robots.txt, po prostu wyklucz ten plik, czyli pozwól wget pobrać witrynę i nie przejmuj się tym, co mówi plik robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Teraz ... są inne opcje lub parametry, które możemy wykorzystać do dalszego oszukania strony, np. Wskazać, że wchodzimy na stronę z Google, tutaj ostatnią linijkę zostawiam ze wszystkim:

wget --header = "Akceptuj: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Czy można to zrobić?

To zależy ... zawsze musisz patrzeć na to z obu punktów widzenia, od administratora strony, ale także od czytelnika.

Z jednej strony jako administrator nie chciałbym, aby w ten sposób pobierali kopię HTML mojej witryny, jest ona tutaj online, a nie dla przyjemności, dla przyjemności wszystkich ... naszym celem jest udostępnienie Ci interesujących treści, których możesz się nauczyć.

Ale z drugiej strony ... są użytkownicy, którzy nie mają internetu w domu, którzy chcieliby mieć całą sekcję Poradników, którą tu umieściliśmy ... stawiam się na ich miejscu (właściwie jestem, bo w domu nie mam internetu) i nie jest przyjemnie być przy komputerze, mieć problem lub chcieć coś zrobić, a nie może, bo nie masz dostępu do sieci sieci.

To, czy jest to dobre, czy złe, zależy od każdego administratora, rzeczywistości każdego z nich ... najbardziej martwi mnie zużycie zasobów, które wget powoduje na serwerze, ale z dobrym systemem pamięci podręcznej serwer nie cierpi.

Wnioski

Proszę, aby nie rozpoczynać pobierania teraz. DesdeLinux HAHAHA!! Na przykład moja dziewczyna poprosiła mnie o pobranie niektórych kodów Geometry Dash (coś w rodzaju kodów Geometry Dash), nie pobiorę całej witryny, ale po prostu otworzę żądaną stronę i zapiszę ją w formacie PDF lub HTML lub czymś takim, to jest co bym Ci polecił.

Jeśli masz jakiś tutorial DesdeLinux który chcesz zapisać, zapisz go w swoich zakładkach, jako HTML lub PDF... ale w przypadku jednego lub dwóch tutoriali nie jest konieczne generowanie nadmiernego ruchu i zużycia na serwerze 😉

No nic, mam nadzieję, że się przyda ... Pozdrowienia