Atsisiųskite visą svetainę naudodami „wget“, net jei yra apribojimų

Kas yra „wget“?

Nieko geresnio už ' paaiškinti, iš ko susideda šis įrankis:

GNU Wget yra nemokama programinės įrangos priemonė, leidžianti paprastu būdu atsisiųsti turinį iš interneto serverių. Jo pavadinimas kilęs iš „World Wide Web“ (w), o iš „get“ (angliškai get) reiškia: gauti iš WWW.

Šiuo metu ji palaiko atsisiuntimus naudojant HTTP, HTTPS ir FTP protokolus.

Tarp ryškiausių jo siūlomų funkcijų wget yra galimybė lengvai atsisiųsti sudėtingus veidrodžius rekursyviai, konvertuoti nuorodas į HTML turinio rodymą vietoje, palaikyti tarpinius serverius ...

De wget Mes jau pakankamai kalbėjome čia DesdeLinux. Iš tiesų ya Mes matėme, kaip atsisiųsti visą svetainę su „wget“, problema ta, kad šiais laikais administratoriai ne visada leidžia niekam atsisiųsti visą savo svetainę taip, kad tai tikrai ne jiems patinka ... ir, aišku, aš suprantu. Svetainė yra internete, kad būtų galima konsultuotis, skaitytojas pasiekia dominantį turinį, o svetainės administratorius finansiškai gerai (reklamuodamasis), pavyzdžiui, apsilanko ir pan. Jei skaitytojas atsisiunčia svetainę į savo kompiuterį, jam nereikės prisijungti prie interneto ir ieškoti ankstesnio įrašo.

Atsisiųsti svetainę su „wget“ yra taip paprasta:

wget -r -k http://www.sitio.com

• -r : Tai rodo, kad bus atsisiųsta visa svetainė.
• -k : Tai rodo, kad atsisiųstos svetainės nuorodos bus konvertuotos, kad būtų galima jas pamatyti kompiuteriuose be interneto.

Dabar viskas tampa sudėtinga, kai svetainės administratorius mums apsunkina ...

Kokie gali būti apribojimai?

Dažniausiai galime rasti tai, kad prieiga prie svetainės leidžiama tik tuo atveju, jei turite pripažintą „UserAgent“. Kitaip tariant, svetainė atpažins, kad „UserAgent“, atsisiunčiantis tiek puslapių, nėra vienas iš „įprastų“ ir todėl uždarys prieigą.

Taip pat per failą robots.txt galite nurodyti tą wget (kaip krūva daugiau panašių programų) Negalėsite atsisiųsti taip, kaip nori klientas, na ... na, svetainės administratorius to nori, laikotarpis 😀

Kaip apeiti šiuos apribojimus?

Pirmuoju atveju mes sukursime „UserAgent“, skirtą „wget“, tai galime padaryti naudodami parinktį -Vartotojo atstovas, čia aš jums parodysiu, kaip:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Dabar, norėdami apeiti „robots.txt“, tiesiog išskirkite tą failą, tai yra, leiskite „wget“ atsisiųsti svetainę ir nesvarbu, ką sako robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Dabar ... yra ir kitų variantų ar parametrų, kuriais galime dar labiau apgauti svetainę, pavyzdžiui, nurodykite, kad mes įeiname į svetainę iš „Google“, čia palieku paskutinę eilutę su viskuo:

wget --header = "Priimti: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Ar gerai tai daryti?

Tai priklauso ... jūs visada turite tai pamatyti iš abiejų taškų, tiek iš svetainės administratoriaus, tiek iš skaitytojo.

Viena vertus, kaip administratorius, nenorėčiau, kad jie taip imtų mano svetainės HTML kopiją, ji yra internete ne dėl malonumo, dėl malonumo visiems ... mūsų tikslas yra turėti jums prieinamą įdomų turinį, kurį galėtumėte išmokti.

Bet kita vertus ... yra vartotojų, kurie neturi interneto namuose, kurie norėtų, kad būtų visas skyrius „Pamokos“, kurį mes čia įdėjome ... Aš pasodinau save į jų vietą (iš tikrųjų esu, nes namuose neturiu interneto) ir nėra malonu būti kompiuteryje, turint problemų ar norint ką nors padaryti ir negalint, nes neturite prieigos prie tinklų tinklo.

Nesvarbu, ar jis teisingas, ar neteisingas, priklauso nuo kiekvieno administratoriaus, kiekvieno realybės... Man labiausiai rūpėtų išteklių sunaudojimas, kurį „wget“ sukelia serveryje, tačiau, turint gerą talpyklos sistemą, serveriui to turėtų pakakti. kentėti.

Išvados

Prašau jūsų nepradėti atsisiųsti dabar. DesdeLinux HA HA HA!! Pvz., mano mergina paprašė, kad atsisiųsčiau kokius nors „Geometry Dash Cheats“ (kažkas panašaus į „Geometry Dash Cheats“), aš neatsisiųsiu visos svetainės, o tiesiog atidarysiu norimą puslapį ir išsaugosiu jį PDF ar HTML ar panašiai, kad tai yra ką tau rekomenduočiau.

Jei turite pamoką DesdeLinux kurias norite išsaugoti, išsaugokite savo žymose, kaip HTML arba PDF... bet, vienai ar dviem pamokoms nebūtina generuoti perteklinio srauto ir suvartojimo serveryje 😉

Na nieko, tikiuosi, kad tai naudinga ... Sveikinimai