Prenesite celotno spletno mesto z wgetom, tudi če obstajajo omejitve

Kaj je wget?

Nič boljšega kot Wikipedia razložiti, iz česa je to orodje:

GNU Wget je brezplačno programsko orodje, ki omogoča prenos vsebine s spletnih strežnikov na preprost način. Njegovo ime izhaja iz svetovnega spleta (w) in iz "get" (v angleščini get), to pomeni: get from the WWW.

Trenutno podpira prenose s protokoli HTTP, HTTPS in FTP.

Med najbolj izjemne funkcije, ki jih ponuja wget obstaja možnost preprostega rekurzivnega prenosa zapletenih ogledal, pretvorbe povezav za prikaz vsebine HTML lokalno, podpora za proxyje ...

De wget hemos hablado ya bastante aquí en DesdeLinux. Pravzaprav ya Videli smo, kako prenesti celotno spletno mesto z wgetom, težava pa je v tem, da danes skrbniki ne dovolijo nikomur, da naloži celotno njihovo spletno stran kar tako, to ni nekaj, kar jim je res všeč ... in, očitno razumem. Spletno mesto je na internetu, da se z njim posvetuje, bralec dostopa do vsebine, ki vas zanima, in skrbnik strani ima ugodne gospodarske koristi (z oglaševanjem), kot pri obiskih itd. Če bralec spletno mesto prenese v svoj računalnik, mu ne bo treba iti na splet, da bi se posvetoval s prejšnjo objavo.

Če želite prenesti spletno mesto z wgetom, je preprosto:

wget -r -k http://www.sitio.com

• -r : To pomeni, da bo preneseno celotno spletno mesto.
• -k : To pomeni, da bodo povezave do prenesenega spletnega mesta pretvorjene tako, da jih bo mogoče videti v računalnikih brez interneta.

Zdaj se stvari zapletejo, ko nam skrbnik spletnega mesta oteži ...

Kakšne omejitve lahko obstajajo?

Najpogostejše, kar smo lahko ugotovili, je, da je dostop do spletnega mesta dovoljen le, če imate prepoznanega UserAgent. Z drugimi besedami, spletno mesto bo prepoznalo, da UserAgent, ki prenaša toliko strani, ni ena od "običajnih" in bo zato zaprl dostop.

Tudi z datoteko robots.txt lahko določite, da wget (kot kup podobnih aplikacij) Ne boste mogli prenesti, kot želi stranka, no ... no, skrbnik strani to želi, pika 😀

Kako se izogniti tem omejitvam?

V prvem primeru bomo vzpostavili UserAgent za wget, lahko to storimo z možnostjo –Uporabniški agent, tukaj vam pokažem, kako:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Zdaj, če želite obiti robots.txt, samo izključite to datoteko, to je, pustite wgetu, da prenese spletno mesto in ne bo vseeno, kaj pravi robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Zdaj ... obstajajo še druge možnosti ali parametri, s katerimi lahko spletno mesto še bolj zavedemo, na primer označimo, da na spletno mesto vstopimo iz Googla, tu zapuščam zadnjo vrstico z vsem:

wget --header = "Sprejmi: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Ali je to v redu?

To je odvisno ... vedno ga morate videti z obeh stališč, s strani skrbnika strani in tudi bralca.

Po eni strani mi kot skrbniku ne bi bilo všeč, da jemljejo HTML kopijo mojega spletnega mesta kar tako, tukaj je na spletu ne zaradi užitka, ampak zaradi užitka vseh ... naš cilj je imeti na voljo zanimivo vsebino, ki se je lahko naučite.

Toda po drugi strani ... obstajajo uporabniki, ki doma nimajo interneta, in bi radi imeli celoten razdelek Vadnice, ki smo ga postavili tukaj ... Na njihovo mesto sem se postavil (pravzaprav sem, ker doma nimam interneta) in ni prijetno biti v računalniku, imeti težave ali želeti nekaj storiti in ne morete, ker nimate dostopa do omrežja omrežij.

Ali je pravilno ali narobe, je odvisno od vsakega skrbnika, resničnosti vsakega ... kaj bi me najbolj skrbelo, bi bila poraba virov, ki jo wget povzroči na strežniku, a z dobrim sistemom predpomnilnika bi moralo biti dovolj za strežnik ne trpi.

Sklepi

Les pido que ahora no se pongan a estar todos descargando DesdeLinux JAJAJA!! Por ejemplo, mi novia me pidió que descargara unos trucos de Geometry Dash (algo así como Geometry Dash Cheats), no descargaré el sitio web completo, sino que simplemente abriré la página deseada y la guardaré en PDF o en HTML o algo así, eso es lo que les recomendaría a ustedes.

Si tienes algún tutorial de DesdeLinux que deseas guardar, guárdalo en tus marcadores, como HTML o PDF … pero, por uno o dos tutoriales no hace falta generar un tráfico y consumo excesivo en el servidor 😉

No nič, upam, da je koristno ... Lep pozdrav