Su terminalu: atsisiųskite visą svetainę naudodami „Wget“

Nieko geresnio už ' paaiškinti, iš ko susideda šis įrankis:

GNU Wget yra nemokama programinės įrangos priemonė, leidžianti paprastu būdu atsisiųsti turinį iš interneto serverių. Jo pavadinimas kilęs iš „World Wide Web“ (w), o iš „get“ (angliškai get) reiškia: gauti iš WWW.

Šiuo metu ji palaiko atsisiuntimus naudojant HTTP, HTTPS ir FTP protokolus.

Tarp ryškiausių jo siūlomų funkcijų wget yra galimybė lengvai atsisiųsti sudėtingus veidrodžius rekursyviai, konvertuoti nuorodas į HTML turinio rodymą vietoje, palaikyti tarpinius serverius ...

Tiesa, kad yra ir kitų programų, kurios padeda mums atlikti tokio tipo darbus, pavyzdžiui, „httrack“ ar net pratęsimai "Firefox" kaip Iškarpų albumas, bet nieko panašaus į terminalo paprastumą 😀

Darydamas magiją

Man buvo įdomu filmą: Socialinis tinklas, kaip Markas Zuckerbergas naudokite frazę: «Šiek tiek stebuklingo wget«, Kai ketinau atsisiųsti„ Facemash “nuotraukas 😀 ir tai tiesa, wget leidžia atlikti magiją su atitinkamais parametrais.

Pažvelkime į keletą pavyzdžių, pradėkime nuo paprasto įrankio naudojimo.

Norėdami pereiti žemyn puslapyje:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Jei norite atsisiųsti rekursyviai visą svetainę, įskaitant vaizdus ir kitų tipų duomenis:

$ wget -r https://blog.desdelinux.net/

Ir čia ateina magija. Kaip jie paaiškina mus Žmonės, daugelis svetainių patikrina naršyklės tapatybę ir taiko įvairius apribojimus. Su wget galime tai apeiti taip:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Arba mes taip pat galime pristabdyti kiekvieną puslapį, nes kitaip svetainės savininkas gali suprasti, kad mes visiškai atsisiunčiame svetainę wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Palikite komentarą

Jūsų elektroninio pašto adresas nebus skelbiamas. Privalomi laukai yra pažymėti *

*

*

  1. Atsakingas už duomenis: Miguel Ángel Gatón
  2. Duomenų paskirtis: kontroliuoti šlamštą, komentarų valdymą.
  3. Įteisinimas: jūsų sutikimas
  4. Duomenų perdavimas: Duomenys nebus perduoti trečiosioms šalims, išskyrus teisinius įsipareigojimus.
  5. Duomenų saugojimas: „Occentus Networks“ (ES) talpinama duomenų bazė
  6. Teisės: bet kuriuo metu galite apriboti, atkurti ir ištrinti savo informaciją.

  1.   92. kas yra? sakė

    Yra ką atsisiųsti tik vaizdus xd?

    1.    Drąsa sakė

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      Aš ką tik perskaičiau tavo mintis hahahaha

      1.    92. kas yra? sakė

        lol oo xd

    2.    KZKG ^ Gaara sakė

      vyras wget ????

      1.    92. kas yra? sakė

        Gyvenimas yra per trumpas, kad galėtum skaityti vyrus.

        1.    KZKG ^ Gaara sakė

          Gyvenimas yra per trumpas, kad užpildytų smegenis informacija, tačiau vis tiek teisinga išbandyti 🙂

          1.    92. kas yra? sakė

            Informacija verta pusės, aš norėčiau ją užpildyti moterimis, žaidimais ir pinigais, jei įmanoma, XD.

          2.    Drąsa sakė

            Jūs visada sušikti galvojate apie moteris. Nuo šiol klausysitės Dadee Yankee, Don Omar ir Wisin Y Yandel, kaip tai daro KZKG ^ Gaara.

            Geriau atsiduokite pinigams, o tai yra svarbiausia šiame gyvenime

            1.    KZKG ^ Gaara sakė

              Yra dalykų, kurių vertė yra daug daugiau nei pinigai ... pavyzdžiui, buvimas istorijoje, pokyčiai, prisiminimai, kiek pavyko prisidėti prie pasaulio; o ne už kiek pinigų turėjai miręs you

              Stenkitės tapti ne sėkmės, o drąsos žmogumi Albertu Einseinu.


          3.    Drąsa sakė

            O ar elgeta, gyvenanti po tiltu, gali tai padaryti neturėdama nė cento?

            Gerai ne

          4.    Drąsa sakė

            *turėti

          5.    92. kas yra? sakė

            Drąsa, aš turėjau savo regetono epochą ir nebe, tai buvo prieš daugelį metų, aš klausausi tik japonų ir klasikinės muzikos, o už pinigus ... mes dirbame ties ja :).

          6.    92. kas yra? sakė

            Man nerūpi, kad mane prisimins, gara, kai aš mirsiu, aš mirsiu ir sukčiau kitus, nes net negalėsiu žinoti, ką jie apie mane galvoja. Ką verta prisiminti, bet jūs galite tuo didžiuotis xD.

    3.    hypersayan_x sakė

      Norėdami atsisiųsti tam tikro tipo failus, galite naudoti filtrus:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Ir patarimas: jei ketinate klonuoti labai didelį puslapį, rekomenduojama tai padaryti per tarpinį serverį, pvz., „Tor“, nes kitaip yra tam tikrų puslapių, kurie pasiekė tam tikrą skaičių iš eilės pateiktų užklausų, blokuodami jūsų IP kelias valandas ar dienas .
      Kitą kartą tai nutiko man, kai norėjau klonuoti wiki.

    4.    mdir sakė

      Plėtinys, kurį naudoju „Firefox“, atsisiunčia tik vaizdus; jis vadinamas „Išsaugoti vaizdus 0.94“

  2.   Pardo sakė

    eh klausimas hehe kur yra mano atsisiųsti failai išsaugoti? Jie nori mane nužudyti, tiesa? daug juoko

    1.    KZKG ^ Gaara sakė

      Failai yra atsisiunčiami į aplanką, kuriame esate terminale, vykdydami „wget get“

  3.   „AurosZx“ sakė

    Aha, neįsivaizdavau, kad „wget“ gali būti toks įdomus ... Dabar, kalbant apie drąsos minimą naudojimą ... Nėra žodžių 😉

  4.   Carlos-Xfce sakė

    Ar kas nors žino, ar yra „WordPress“ papildinys, neleidžiantis „Wget“ atsisiųsti jūsų tinklaraščio?

  5.   Darzee sakė

    Na, man tai puiku !! Ačiū

  6.   piolavskis sakė

    Labai gerai, pabandykime pamatyti, kaip, ačiū už indėlį.

  7.   lyarmg sakė

    Nors aš laikau save pradedančiuoju, man dabar tai lengva, bet bandysiu tai maišyti su kitais dalykais ir pamatyti, ką tai duoda ...

  8.   Oswaldo sakė

    Tikiuosi, kad galite man padėti, nes tai skirta 3 m. Gruodžio 2012 d., Pirmadieniui

    Kuriamas projektas yra toks:

    Svetainės perkėlimas koreguojant „href“ nuorodas.
    1. Atsižvelgiant į svetainę, atsisiųskite visą svetainę į vietinį katalogą naudodami komandą wget. Naudodamiesi savo autorystės scenarijumi, atlikite šias operacijas:

    1.1. - Sukurkite nepriklausomą katalogą kiekvienam turinio tipui: GIF vaizdai, JPEG vaizdai ir kt., AVI vaizdo įrašai, MPG vaizdo įrašai ir kt., MP3 garso įrašai, WAV garso įrašai ir kt., Interneto turinys (HTML, „Javascript“ ir kt.).

    1.2. - Perkėlus kiekvieną iš šių turinių, sureguliuokite nuorodas į kiekvieno svetainės šaltinio vietines vietas.

    1.3.-Suaktyvinkite žiniatinklio serverį ir sukonfigūruokite šakninį katalogą, kuriame yra atsarginė svetainės atsarginė kopija, kaip vietinio žiniatinklio serverio šakninį katalogą.

    1.4.-Pastaba: komandą wget galima naudoti tik su šiomis parinktimis:
    –Rekursinis
    –Domenai
    –Puslapio rekvizitai
    Jei dėl kokių nors priežasčių reikia daugiau komandų, naudokite būtinas.

    1.    KZKG ^ Gaara sakė

      Jei norite atsisiųsti čia, manau, kad jūs turite sprendimą įraše, dabar ... norėdamas perkelti failus ir pakeisti kelius, prieš kurį laiką turėjau padaryti kažką panašaus į savo darbą, aš palikau jums naudojamą scenarijų: http://paste.desdelinux.net/4670

      Jūs jį modifikuojate atsižvelgdami į failo tipą ir kelią, tai yra į tai, kaip sudaromi jūsų svetainės .HTML failai.

      Tai nėra 100% sprendimas, nes turite atlikti tam tikrus susitarimus ar pakeitimus, bet garantuoju, kad tai yra 70 arba 80% viso darbo 😉

      1.    Oswaldo sakė

        Ačiū KZKG ^ Gaara man labai padėjo

  9.   Skola sakė

    Visada naudojau „httrack“. „Firefox“ albumas, kurį aš išbandysiu, bet man patinka „wget“. Ačiū!

  10.   Daniel PZ sakė

    Žmogau, komanda man neveikė ... šis man gerai pasirodė:

    wget –random-wait -r -p -e robotai = ne -U „mozilla“ http://www.example.com

    1.    Danielis sakė

      Labai ačiū! Panaudojau pagal Danielio PZ pasiūlytus parametrus ir neturėjau problemų 🙂

  11.   Rubenas Almagueris sakė

    Ačiū berniukui, aš tai padariau su savo „Linux“ šuniuko WGet, bet nežinojau, kaip tai padaryti terminale. sveikinimas

  12.   stūmoklinis sakė

    kur laikote puslapius?

    1.    Kirvis sakė

      Kur atidarytas terminalas. Iš pradžių savo vartotojo šakniniame aplanke, nebent nurodote kitą kelią.

  13.   Fernando sakė

    Taip pat atsisiųsti nuorodas? Taigi, jei yra nuoroda į pdf ar kitą dokumentą, ar jį taip pat atsisiunčiate?

  14.   upė sakė

    Ką aš galiu padaryti norėdamas atsisiųsti visą savo tinklaraštį, bandžiau ir atrodo, kad nematau kodų arba užblokuotų, nepaisant to, kad atsisiuntimas užtruko daug valandų, tačiau perskaityti galima tik pradinį puslapį, kurį rekomenduoju atsisiųsti mano dienoraštis, ačiū raul.

  15.   Liūtas sakė

    sveiki, abejonė, ar įmanoma pakeisti nuorodas HTML, kad vėliau galėtumėte naršyti atsisiųstą puslapį, tarsi jis būtų originalus.

    Taip atsitinka, kad atsisiunčiu puslapį ir atidarius jį iš atsisiųstų failų, nepaėmiau nei .css, nei .js, o puslapyje esančios nuorodos nuvedė mane į interneto puslapį.