Преземете цела страница со wget дури и ако има ограничувања

Што е wget?

Ништо подобро од Википедија да објасни од што се состои оваа алатка:

GNU Wget е алатка за слободен софтвер што овозможува преземање на содржина од веб-сервери на едноставен начин. Неговото име потекнува од Светска мрежа (w), а од „get“ (на англиски јазик get), ова значи: добиј од WWW.

Во моментов поддржува преземања со помош на протоколите HTTP, HTTPS и FTP.

Меѓу најистакнатите карактеристики што ги нуди wget постои можност за лесно преземање на комплексни огледала рекурзивно, конверзија на врски за прикажување на HTML содржина локално, поддршка за прокси ...

De wget ние веќе зборувавме доволно тука во DesdeLinux. Всушност ya Видовме како да преземеме комплетна веб-страница со wget, проблемот е што во денешно време администраторите не дозволуваат некому да ја презема целата своја веб-страница токму така, тоа не е нешто што навистина им се допаѓа ... и, очигледно, разбирам. Веб-страницата е таму на Интернет за да се консултира со неа, читателот пристапува до содржина од интерес и администраторот на страницата има добра корист економски (со рекламирање), како и при посети, итн. Ако читателот ја преземе страницата на неговиот компјутер, тој нема да мора да оди на Интернет за да се консултира со претходна објава.

Да преземете страница со wget е едноставно како:

wget -r -k http://www.sitio.com

• -r : Ова покажува дека целата веб-страница ќе се преземе.
• -k : Ова покажува дека врските на преземената страница ќе се конвертираат за да бидат видени на компјутери без интернет.

Сега, работите се комплицираат кога администраторот на страницата ни отежнува ...

Кои ограничувања може да постојат?

Најчесто што може да откриеме е дека пристапот до страницата е дозволен само ако имате признаен Кориснички агент. Со други зборови, страницата ќе препознае дека UserAgent што презема толку многу страници не е од „нормалните“ и затоа ќе го затвори пристапот.

Исто така преку датотеката robots.txt можете да го наведете wget (како еден куп повеќе слични апликации) Нема да можете да преземате како што сака клиентот, добро ... добро, администраторот на страницата го сака, период

Како да се заобиколат овие ограничувања?

За првиот случај ќе воспоставиме UserAgent за wget, можеме да го направиме ова со опцијата –Корисник-агент, еве ви покажам како:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Сега, за да го заобиколите robots.txt, само исклучете ја таа датотека, односно, дозволете wget да ја преземе страницата и не се грижи што вели robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e роботи = исклучени

Сега ... има и други опции или параметри што можеме да ги искористиме за да ја измамиме страницата уште повеќе, на пример, означуваме дека ја внесуваме страницата од Google, тука ја оставам последната линија со сè:

wget --header = "Прифати: текст / html" - корисник-агент = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Гецко / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --реферер = http: / /www.google.com -r http://www.site.com -e роботи = надвор од -k

Дали е во ред да се направи ова?

Тоа зависи ... секогаш треба да го гледате од двете гледишта, од администраторот на страницата, но и од читателот.

Од една страна, како администратор, не би сакал да земаат HTML-копија од мојата страница токму така, тука е на Интернет не за задоволство, за уживање на сите ... нашата цел е да имаме достапна интересна содржина, која можете да ја научите.

Но, од друга страна ... има корисници кои немаат интернет дома, кои би сакале да го имаат целиот дел за упатства што ги ставивме тука ... Јас се ставив на нивно место (всушност сум, затоа што дома немам интернет) и не е пријатно да се биде на компјутер, да имаш проблем или да сакаш да сториш нешто и да не можеш затоа што немаш пристап до мрежата на мрежи.

Дали е правилно или погрешно, зависи од секој администратор, реалноста на секој ... што најмногу би ме загрижила би била потрошувачката на ресурси што предизвикува wget на серверот, но со добар систем за кешот тоа треба да биде доволно за серверот не страда.

Заклучоци

Ве замолувам да не започнувате со преземање од Linux сега, ХАХАХА! На пример, мојата девојка ме замоли да преземам неколку измами за геометрија цртичка (нешто како геометрија измами за цртичка), јас нема да ја преземам целата веб-страница, туку само ќе ја отворам саканата страница и ќе ја зачувам во PDF или HTML или слично. е она што јас би ти препорачал.

Ако имате упатство за DesdeLinux што сакате да го зачувате, зачувајте го во обележувачите, како HTML или PDF ... но, за едно или две упатства не е потребно да се генерира прекумерен сообраќај и потрошувачка на серверот

Па ништо, се надевам дека е корисно ... Поздрав