Shkarkoni një faqe të tërë me wget edhe nëse ka kufizime

Çfarë është wget?

Asgjë më mirë se wikipedia për të shpjeguar se çfarë përbëhet nga ky mjet:

GNU Wget është një mjet i softuerit të lirë që lejon shkarkimin e përmbajtjes nga serverat e internetit në një mënyrë të thjeshtë. Emri i saj rrjedh nga World Wide Web (w), dhe nga "merrni" (në anglisht merrni), kjo do të thotë: merrni nga WWW.

Aktualisht ajo mbështet shkarkime duke përdorur protokollet HTTP, HTTPS dhe FTP.

Ndër tiparet më të shquara që ofron wget ekziston mundësia e shkarkimit të lehtë të pasqyrave komplekse në mënyrë rekursive, shndërrimi i lidhjeve për të shfaqur përmbajtjen HTML në nivel lokal, mbështetje për përfaqësuesit ...

De wget hemos hablado ya bastante aquí en DesdeLinux. Në fakt ya Ne kishim parë se si të shkarkonim një faqe të plotë në internet me wget, problemi është që në ditët e sotme administratorët nuk lejojnë gjithkënd që të shkarkojë të gjithë uebfaqen e tyre ashtu, nuk është diçka që atyre u pëlqen vërtet ... dhe, padyshim që unë e kuptoj. Faqja është atje në internet për ta konsultuar atë, lexuesi hyn në përmbajtjen me interes dhe administratori i faqes përfiton mirë financiarisht (përmes reklamave), të tilla si vizitat, etj. Nëse lexuesi shkarkon faqen në kompjuterin e tij, ai nuk do të duhet të shkojë në internet për të konsultuar një postim të kaluar.

Për të shkarkuar një faqe me wget është aq e thjeshtë sa:

wget -r -k http://www.sitio.com

• -r : Kjo tregon që e gjithë faqja në internet do të shkarkohet.
• -k : Kjo tregon që lidhjet e faqes së shkarkuar do të konvertohen për t'u parë në kompjuterë pa internet.

Tani, gjërat ndërlikohen kur administratori i faqes na e bën të vështirë ...

Çfarë kufizimesh mund të ekzistojnë?

Më e zakonshmja që mund të gjejmë është se qasja në sit lejohet vetëm nëse keni një UserAgent të njohur. Me fjalë të tjera, faqja do të pranojë që UserAgent që po shkarkon kaq shumë faqe nuk është një nga ato "normale" dhe për këtë arsye do të mbyllë hyrjen.

Gjithashtu përmes skedarit robots.txt mund të specifikoni që wget (si një bandë më shumë aplikacione të ngjashme) Ju nuk do të jeni në gjendje të shkarkoni siç dëshiron klienti, mirë ... mirë, administratori i faqes e dëshiron atë, periudha

Si të anashkalohen këto kufizime?

Për rastin e parë, ne do të krijojmë një UserAgent për të wget, ne mund ta bëjmë këtë me opsionin –Agjent-përdorues, këtu unë ju tregoj se si:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Tani, për të kaluar robots.txt, thjesht përjashtoni atë skedar, domethënë, lini wget të shkarkojë faqen dhe mos u interesoni se çfarë thotë robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = joaktiv

Tani ... ka mundësi ose parametra të tjerë që mund t'i përdorim për të mashtruar edhe më shumë sitin, për shembull, tregojnë se ne hyjmë në sit nga Google, këtu unë lë vijën përfundimtare me gjithçka:

wget --header = "Prano: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referues = http: / /www.google.com -r http://www.site.com -e robotë = jashtë -k

A është mirë ta bësh këtë?

Kjo varet ... gjithmonë duhet ta shikoni nga të dy këndvështrimet, nga administratori i faqes, por edhe nga lexuesi.

Nga njëra anë, si administrator, nuk do të doja që ata të merrnin një kopje HTML të faqes time ashtu, është këtu në internet jo për kënaqësi, për kënaqësinë e të gjithëve ... qëllimi ynë është që të kemi përmbajtje interesante në dispozicion për ju, që ju mund të mësoni.

Por, nga ana tjetër ... ka përdorues që nuk kanë internet në shtëpi, të cilët do të dëshironin të kishin të gjithë seksionin e Tutorials që kemi vendosur këtu ... Unë e vendos veten në vendin e tyre (ne fakt jam, sepse ne shtepi nuk kam internet) dhe nuk është e këndshme të jesh në kompjuter, të kesh një problem ose të duash të bësh diçka dhe të mos jesh në gjendje sepse nuk ke qasje në rrjetin e rrjeteve.

Nëse është e drejtë apo e gabuar varet nga secili administrator, realiteti i secilit ... ajo që do të shqetësonte më shumë do të ishte konsumi i burimeve që shkakton wget në server, por me një sistem të mirë cache duhet të jetë i mjaftueshëm për serverin jo vuaj

Konkluzione

Les pido que ahora no se pongan a estar todos descargando DesdeLinux JAJAJA!! Por ejemplo, mi novia me pidió que descargara unos trucos de Geometry Dash (algo así como Geometry Dash Cheats), no descargaré el sitio web completo, sino que simplemente abriré la página deseada y la guardaré en PDF o en HTML o algo así, eso es lo que les recomendaría a ustedes.

Si tienes algún tutorial de DesdeLinux que deseas guardar, guárdalo en tus marcadores, como HTML o PDF … pero, por uno o dos tutoriales no hace falta generar un tráfico y consumo excesivo en el servidor 😉

Epo asgjë, shpresoj të jetë e dobishme ... Përshëndetje