Me terminalin: Shkarkoni një faqe të plotë në internet me Wget

Asgjë më mirë se wikipedia për të shpjeguar se çfarë përbëhet nga ky mjet:

GNU Wget është një mjet i softuerit të lirë që lejon shkarkimin e përmbajtjes nga serverat e internetit në një mënyrë të thjeshtë. Emri i saj rrjedh nga World Wide Web (w), dhe nga "merrni" (në anglisht merrni), kjo do të thotë: merrni nga WWW.

Aktualisht ajo mbështet shkarkime duke përdorur protokollet HTTP, HTTPS dhe FTP.

Ndër tiparet më të shquara që ofron wget ekziston mundësia e shkarkimit të lehtë të pasqyrave komplekse në mënyrë rekursive, shndërrimi i lidhjeve për të shfaqur përmbajtjen HTML në nivel lokal, mbështetje për përfaqësuesit ...

Trueshtë e vërtetë që ka aplikacione të tjera që na ndihmojnë të kryejmë këtë lloj pune si p.sh. pista apo edhe zgjatje për Firefox si album me copa të ngjitura, por asgjë si thjeshtësia e një terminali

Duke bërë magjinë

Isha kurioz për filmin: Social Network, si karakter i mark_zuckerberg përdorni frazën: «Pak wget magjike«, Kur isha gati për të shkarkuar fotot për Facemash 😀 dhe është e vërtetë, wget ju lejon të bëni magji me parametrat e duhur.

Le të shohim disa shembuj, le të fillojmë me përdorimin e thjeshtë të mjetit.

Për të zbritur një faqe:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Për të shkarkuar të gjithë sitin në mënyrë rekursive, duke përfshirë imazhe dhe lloje të tjerë të të dhënave:

$ wget -r https://blog.desdelinux.net/

Dhe këtu vjen magjia. Siç shpjegohet edhe në artikullin e Njerëz, shumë faqe verifikojnë identitetin e shfletuesit për të aplikuar kufizime të ndryshme. Me wget ne mund ta anashkalojmë këtë në mënyrën vijuese:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Ose ne gjithashtu mund të bëjmë një pauzë midis secilës faqe, pasi përndryshe pronari i faqes mund të kuptojë se ne po e shkarkojmë faqen plotësisht me të wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Lini komentin tuaj

Adresa juaj e emailit nuk do të publikohet. Fusha e kërkuar janë shënuar me *

*

*

  1. Përgjegjës për të dhënat: Miguel Ángel Gatón
  2. Qëllimi i të dhënave: Kontrolloni SPAM, menaxhimin e komenteve.
  3. Legjitimimi: Pëlqimi juaj
  4. Komunikimi i të dhënave: Të dhënat nuk do t'u komunikohen palëve të treta përveç me detyrim ligjor.
  5. Ruajtja e të dhënave: Baza e të dhënave e organizuar nga Occentus Networks (BE)
  6. Të drejtat: Në çdo kohë mund të kufizoni, rikuperoni dhe fshini informacionin tuaj.

  1.   pandev92 dijo

    Ka diçka për të shkarkuar vetëm imazhet xd?

    1.    Guxim dijo
      1.    pandev92 dijo

        lol oo xd

    2.    KZKG ^ Gaara dijo

      njeriu wget 😉

      1.    pandev92 dijo

        Jeta është shumë e shkurtër për të lexuar mans.

        1.    KZKG ^ Gaara dijo

          Jeta është shumë e shkurtër për të mbushur trurin me informacion, por është akoma e vlefshme të provosh

          1.    pandev92 dijo

            Informacioni vlen gjysmën, preferoj ta mbush me gra, lojëra dhe para nëse është e mundur XD.

          2.    Guxim dijo

            Ju gjithmonë jeni duke ndyrë duke menduar për gratë. Tani e tutje ju do të dëgjoni Dadee Yankee, Don Omar dhe Wisin Y Yandel siç bën KZKG ^ Gaara.

            Përkushtohuni më mirë parave, e cila është gjëja më e rëndësishme në këtë jetë

            1.    KZKG ^ Gaara dijo

              Ka gjëra që vlejnë shumë më shumë sesa paratë ... për shembull, të jesh në histori, të bësh ndryshimin, të kujtohesh për sa ke arritur të kontribuosh në botë; dhe jo për sa para keni pasur kur keni vdekur

              Mundohuni të mos bëheni një njeri i suksesit por një njeri me guxim, Albert Einsein.


          3.    Guxim dijo

            Dhe a mund ta bëjë një lypës që jeton nën një urë pa pasur asnjë qindarkë?

            Epo, jo

          4.    Guxim dijo

            *të kesh

          5.    pandev92 dijo

            Guxim, unë kisha epokën time të reggaetonit dhe jo më shumë, kjo ishte vite më parë, unë dëgjoj vetëm muzikë japoneze dhe muzikë klasike, dhe me paratë ... ne jemi duke punuar për të :).

          6.    pandev92 dijo

            Nuk më intereson të më kujtojnë, gara, kur do të kem vdekur do të kem vdekur dhe do t'i vidhos të tjerët, pasi as nuk do të mund të di se çfarë mendojnë për mua. Çfarë ia vlen të kujtohet por mund të krenohesh me të xD.

    3.    hipersajan_x dijo

      Për të shkarkuar një lloj specifik skedarësh mund të përdorni filtra:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Dhe një këshillë, nëse do të klononi një faqe shumë të madhe, rekomandohet që ta bëni përmes një proxy të tillë si tor, sepse përndryshe ka faqe të caktuara që kanë arritur një numër të caktuar të kërkesave të njëpasnjëshme, duke bllokuar IP-në tuaj për disa orë ose ditë .
      Herën tjetër që më ndodhi kur doja të klonoja një wiki.

    4.    mdir dijo

      Një shtesë, të cilën unë e përdor në Firefox, shkarkon vetëm imazhe; quhet "Ruaj Imazhet 0.94"

  2.   Pardo dijo

    eh një pyetje hehe ku janë ruajtur skedarët që unë shkarkoj? Ata do të duan të më vrasin, apo jo? LOL

    1.    KZKG ^ Gaara dijo

      Skedarët shkarkohen në dosjen ku ndodheni në terminal në kohën e ekzekutimit të wget

  3.   auroszx dijo

    Ahh, nuk e imagjinoja që wget mund të kishte një përdorim kaq interesant ... Tani, në lidhje me përdorimin që përmend Guximi Pa fjalë

  4.   Carlos-Xfce dijo

    A e di dikush nëse ekziston një plugin në WordPress që parandalon Wget të shkarkojë blogun tuaj?

  5.   i dashur dijo

    Epo, është shumë mirë për mua !! Faleminderit

  6.   piolavski dijo

    Shumë mirë, le të përpiqemi të shohim se si, faleminderit për kontributin.

  7.   lyairmg dijo

    Edhe pse e konsideroj veten fillestare, kjo është e lehtë për mua tani do të përpiqem ta përziej me gjëra të tjera dhe të shoh se çfarë jep it.

  8.   osvaldo dijo

    Shpresoj të mund të më ndihmoni sepse është për të hënën, 3 dhjetor 2012

    Projekti që do të zhvillohet është si vijon:

    Zhvendosja e një faqe në internet duke rregulluar referencat e href.
    1.-Duke marrë parasysh një faqe në internet, shkarkoni faqen e plotë në një direktori lokale duke përdorur komandën wget. Dhe duke përdorur një skenar të autorësisë suaj, kryeni veprimet e mëposhtme:

    1.1.-Krijoni një direktori të pavarur për secilin lloj të përmbajtjes: imazhe gif, imazhe jpeg, etj, video avi, video mpg, etj, audio mp3, audio wav, etj, përmbajtje në internet (HTML, javascript, etj).

    1.2.-Pasi secila prej këtyre përmbajtjeve të jetë zhvendosur, kryeni rregullimin e referencave në vendet lokale të secilit burim në sit.

    1.3.-Aktivizoni një server në internet dhe konfiguroni direktorinë root ku ndodhet rezervimi i faqes në internet si drejtori rrënjësor i serverit lokal të uebit.

    1.4.-Shënim: komanda wget mund të përdoret vetëm me opsionet e mëposhtme:
    –Rekursive
    –Fushat
    –Kërkesat e faqes
    Nëse për ndonjë arsye më shumë komanda janë të nevojshme, përdorni ato të nevojshme.

    1.    KZKG ^ Gaara dijo

      Për të shkarkuar këtu mendoj se e keni zgjidhjen në postim, tani ... për të lëvizur skedarët dhe për të zëvendësuar shtigjet, unë duhej të bëja diçka të tillë pak kohë më parë në punën time, ju lë skenarin që përdora: http://paste.desdelinux.net/4670

      Ju e modifikoni atë duke marrë parasysh llojin e skedarit dhe shtegun, domethënë se si përbëhen .HTML-të e faqes tuaj dhe kaq.

      Kjo nuk është zgjidhja 100% sepse duhet të bëni disa rregullime ose ndryshime, por, ju garantoj se është 70 ose 80% e gjithë punës

      1.    osvaldo dijo

        Faleminderit KZKG ^ Gaara ka qenë një ndihmë e madhe për mua

  9.   Borxhi dijo

    Unë gjithmonë kam përdorur httrack. Libër Shënimesh për firefox Unë do ta provoj, por unë e dua wget. Faleminderit!

  10.   Daniel PZ dijo

    Njeri, komanda nuk funksionoi për mua ... ky funksionoi mirë për mua:

    wget –random-wait -r -p -e robotë = jashtë-U mozilla http://www.example.com

    1.    Daniel dijo

      Faleminderit shume! E kam përdorur me parametrat e propozuar nga Daniel PZ dhe nuk kam pasur probleme

  11.   Ruben Almaguer dijo

    Faleminderit djalë, unë e bëra atë me WGet në qenushin tim Linux por nuk e dija se si bëhet në terminal një përshëndetje

  12.   kokëfortë dijo

    ku i mban faqet?

    1.    Sëpatë dijo

      Aty ku e keni të hapur terminalin. Në fillim, në dosjen tuaj rrënjësore të përdoruesit, përveç nëse tregoni një rrugë tjetër.

  13.   fernando dijo

    Të shkarkohen edhe lidhjet? Pra, nëse ka një lidhje në një pdf ose dokument tjetër, e shkarkoni edhe ju atë?

  14.   raul dijo

    Çfarë mund të bëj për të shkarkuar blogun tim të plotë? Unë u përpoqa dhe ajo që nuk mund të shoh duket se është në kode ose e bllokuar, pavarësisht se duhen shumë orë për të shkarkuar, por vetëm faqja fillestare mund të lexohet, të cilën unë rekomandoj të shkarkoni blogu im, faleminderit raul.

  15.   Luani dijo

    pershendetje, ka dyshim qe eshte e mundur te zevendesoni lidhjet brenda HTML, per te qene me vone ne gjendje te shfletoni ne faqen e shkarkuar sikur te ishte origjinali.

    Ajo që ndodh është që unë ta shkarkoj faqen dhe kur e hapa nga skedarët e shkarkuar nuk mora .css ose .js dhe lidhjet në faqe më çojnë në faqen në Internet.