Lejupielādējiet visu vietni ar vietni wget, pat ja pastāv ierobežojumi

Kas ir wget?

Nekas labāks par Wikipedia izskaidrot, no kā sastāv šis rīks:

GNU Wget ir bezmaksas programmatūras rīks, kas vienkāršā veidā ļauj lejupielādēt saturu no tīmekļa serveriem. Tās nosaukums cēlies no globālā tīmekļa (w) un no “get” (angļu valodā get) tas nozīmē: iegūt no WWW.

Pašlaik tā atbalsta lejupielādes, izmantojot HTTP, HTTPS un FTP protokolus.

Starp izcilākajām tā piedāvātajām funkcijām wget ir iespēja ērti lejupielādēt sarežģītus spoguļus rekursīvi, pārveidot saites, lai lokāli parādītu HTML saturu, atbalstīt starpniekserverus ...

De wget hemos hablado ya bastante aquí en DesdeLinux. Patiesībā ya Mēs bijām redzējuši, kā lejupielādēt pilnu vietni ar wget, problēma ir tā, ka mūsdienās administratori ne vienmēr ļauj nevienam tā lejupielādēt visu savu vietni, tas viņiem patiešām nepatīk ... un, protams, es saprotu. Vietne atrodas internetā, lai ar to iepazītos, lasītājs piekļūst interesējošam saturam, un vietnes administrators finansiāli labi (izmantojot reklāmu) gūst labumu, piemēram, apmeklējumus utt. Ja lasītājs lejupielādē vietni savā datorā, viņam nebūs jādodas tiešsaistē, lai iepazītos ar iepriekšējo ziņu.

Vietnes lejupielāde ar wget ir tik vienkārša kā:

wget -r -k http://www.sitio.com

• -r : Tas norāda, ka tiks lejupielādēta visa vietne.
• -k : Tas norāda, ka lejupielādētās vietnes saites tiks pārveidotas, lai tās varētu redzēt datoros bez interneta.

Tagad lietas kļūst sarežģītas, ja vietnes administrators mums to apgrūtina ...

Kādi ierobežojumi varētu pastāvēt?

Visbiežāk mēs varam atrast, ka piekļuve vietnei ir atļauta tikai tad, ja jums ir atzīts UserAgent. Citiem vārdiem sakot, vietne atpazīs, ka UserAgent, kas lejupielādē tik daudz lapu, nav no "parastajām" lapām, un tāpēc tā aizvērs piekļuvi.

Arī caur robots.txt failu jūs varat norādīt šo wget (piemēram, ķekars vairāk līdzīgu lietotņu) Jūs nevarēsiet lejupielādēt, kā klients vēlas, labi ... labi, vietnes administrators to vēlas, periods 😀

Kā apiet šos ierobežojumus?

Pirmajā gadījumā mēs izveidosim UserAgent, lai wget, mēs to varam izdarīt ar iespēju -Lietotāja aģents, šeit es jums parādīšu, kā:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Tagad, lai apietu robots.txt, vienkārši izslēdziet šo failu, tas ir, ļaujiet wget lejupielādēt vietni un neuztraucieties, ko saka robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = izslēgts

Tagad ... ir arī citas iespējas vai parametri, kurus mēs varam izmantot, lai vēl vairāk maldinātu vietni, piemēram, norādiet, ka mēs ievadām vietni no Google, šeit es atstāju pēdējo rindu ar visu:

wget --header = "Pieņemt: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Vai tas ir labi to darīt?

Tas ir atkarīgs ... jums tas vienmēr ir jāredz no abiem viedokļiem, no vietnes administratora, bet arī no lasītāja puses.

No vienas puses, man kā administratoram negribētos, ka viņi tā paņem manas vietnes HTML kopiju, tā ir tiešsaistē, nevis prieka pēc, visu izbaudīšanai ... mūsu mērķis ir, lai jums būtu pieejams interesants saturs, kuru jūs varētu uzzināt.

Bet, no otras puses ... ir lietotāji, kuriem mājās nav interneta, kuri vēlētos, lai būtu visa sadaļa Apmācības, ko mēs esam šeit ievietojuši ... Es viņu ievietoju viņu vietā (patiesībā esmu, jo mājās man nav interneta), un nav patīkami atrasties datorā, rodas problēmas vai vēlaties kaut ko darīt un nevarat, jo jums nav piekļuves tīklu tīklam.

Neatkarīgi no tā, vai tas ir pareizi vai nepareizi, izlemj katrs administrators, katra realitāte ... mani visvairāk uztrauc resursu patēriņš, ko wget rada serverī, taču ar labu kešatmiņas sistēmu tam vajadzētu būt pietiekamam, lai serveris to nedarītu. ciest.

Secinājumi

Les pido que ahora no se pongan a estar todos descargando DesdeLinux JAJAJA!! Por ejemplo, mi novia me pidió que descargara unos trucos de Geometry Dash (algo así como Geometry Dash Cheats), no descargaré el sitio web completo, sino que simplemente abriré la página deseada y la guardaré en PDF o en HTML o algo así, eso es lo que les recomendaría a ustedes.

Si tienes algún tutorial de DesdeLinux que deseas guardar, guárdalo en tus marcadores, como HTML o PDF … pero, por uno o dos tutoriales no hace falta generar un tráfico y consumo excesivo en el servidor 😉

Nu nekas, es ceru, ka tas būs noderīgi ... Sveiciens