Preuzmite cijelu web stranicu s wgetom, čak i ako postoje ograničenja

Šta je wget?

Ništa bolje od Wikipedia da objasnimo od čega se sastoji ovaj alat:

GNU Wget je besplatni softverski alat koji omogućava preuzimanje sadržaja s web servera na jednostavan način. Njegovo ime potječe od World Wide Weba (w), a od "get" (na engleskom get), to znači: get from WWW.

Trenutno podržava preuzimanje pomoću HTTP, HTTPS i FTP protokola.

Među najistaknutijim karakteristikama koje nudi wget postoji mogućnost jednostavnog rekurzivnog preuzimanja složenih zrcala, konverzije veza za lokalni prikaz HTML sadržaja, podrška za proxyje ...

De wget Već smo dovoljno razgovarali ovdje na DesdeLinux. Zapravo ya Vidjeli smo kako skinuti kompletnu web stranicu s wgetom, problem je što danas administratori ne dopuštaju nikome da preuzme cijelu njihovu web stranicu samo tako, to nije nešto što im se stvarno sviđa ... i, očito razumijem. Web lokacija postoji na Internetu da bi je konsultovala, čitatelj pristupa sadržaju koji vas zanima, a administrator stranice ima finansijske koristi (putem oglašavanja), poput posjeta itd. Ako čitatelj preuzme web lokaciju na svoj računar, neće morati ići na mrežu kako bi se posavjetovao s prošlim postom.

Preuzimanje web stranice pomoću wgeta jednostavno je kao:

wget -r -k http://www.sitio.com

• -r : Ovo znači da će se preuzeti cijela web lokacija.
• -k : Ovo ukazuje da će se veze preuzete web stranice pretvoriti kako bi se mogle vidjeti na računalima bez interneta.

Sad se stvari zakompliciraju kada nam administrator web lokacije otežava ...

Koja ograničenja mogu postojati?

Najčešće što smo mogli pronaći je da je pristup web lokaciji dozvoljen samo ako imate prepoznati UserAgent. Drugim riječima, web lokacija će prepoznati da UserAgent koji preuzima toliko stranica nije jedna od „normalnih“ i zato će zatvoriti pristup.

Takođe putem datoteke robots.txt možete odrediti da wget (poput gomile sličnih aplikacija) Nećete moći preuzeti po želji klijenta, pa ... pa, administrator web stranice to želi, točka 😀

Kako zaobići ta ograničenja?

Za prvi slučaj uspostavit ćemo UserAgent za wget, to možemo učiniti s opcijom –Korisnički agent, ovdje ću vam pokazati kako:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Sada, da biste se zaobišli robots.txt, samo izuzmite tu datoteku, to jest, pustite wget da preuzme web lokaciju i ne brine se što robots.txt kaže:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = isključeno

Sada ... postoje i druge opcije ili parametri kojima možemo još više zavarati web lokaciju, na primjer, naznačite da na Google ulazimo na tu stranicu, ovdje ostavljam završni redak sa svime:

wget --header = "Prihvaćam: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = isključeno -k

Da li je u redu to učiniti?

To ovisi ... to uvijek morate vidjeti s obje strane, od administratora web lokacije, ali i od čitača.

S jedne strane, kao administrator, ne bih volio da oni uzimaju HTML kopiju moje stranice samo tako, ona je ovdje na mreži ne iz zadovoljstva, iz užitka svih ... naš cilj je imati zanimljiv sadržaj dostupno, koje možete naučiti.

Ali, s druge strane ... postoje korisnici koji kod kuće nemaju internet, koji bi željeli imati cijeli odjeljak Tutoriali koje smo ovdje stavili ... Stavio sam se na njihovo mjesto (zapravo jesam, jer kod kuće nemam internet) i nije ugodno biti na računaru, imati problem ili želite nešto učiniti, a ne možete jer nemate pristup mreži mreža.

Hoće li to biti ispravno ili ne, ovisi o svakom administratoru, o stvarnosti svakoga ... ono što bi me najviše brinulo bila bi potrošnja resursa koju wget uzrokuje na serveru, ali uz dobar sistem predmemorije to bi trebalo biti dovoljno za server patiti.

ZAKLJUČCI

Molim vas da sada ne počinjete sa preuzimanjem. DesdeLinux HA HA HA!! Na primjer, moja djevojka me je zamolila da preuzmem neke Geometry Dash Cheats (nešto kao Geometry Dash Cheats), neću preuzeti cijelu web stranicu, već ću samo otvoriti željenu stranicu i spremiti je u PDF ili HTML ili nešto slično, to je šta bih vam preporučio.

Ako imate neki tutorijal DesdeLinux koje želite da sačuvate, sačuvajte ga u svojim bookmarkovima, kao HTML ili PDF... ali, za jedan ili dva tutorijala nije potrebno generisati preveliki promet i potrošnju na serveru 😉

Pa ništa, nadam se da je korisno ... Pozdrav