Päätteen kanssa: Lataa täydellinen verkkosivusto Wgetin avulla

Mikään ei ole parempi kuin wikipedia selittää mistä tämä työkalu koostuu:

GNU Wget on ilmainen ohjelmistotyökalu, joka mahdollistaa sisällön lataamisen verkkopalvelimilta yksinkertaisella tavalla. Sen nimi on peräisin World Wide Webistä (w), ja "get" (englanniksi get) tarkoittaa: hanki WWW: stä.

Tällä hetkellä se tukee latauksia käyttämällä HTTP-, HTTPS- ja FTP-protokollia.

Yksi sen upeimmista ominaisuuksista wget monimutkaisten peilien rekursiivinen lataaminen on helppoa, linkkien muuntaminen HTML-sisällön näyttämiseksi paikallisesti, välityspalvelinten tuki ...

On totta, että on olemassa muita sovelluksia, jotka auttavat meitä tekemään tällaista työtä, kuten httrack tai jopa laajennuksia Firefox kuten Leikekirja, mutta ei mikään päätelaitteen yksinkertaisuus 😀

Taikuuden tekeminen

Olin utelias elokuvaan: The Social Network, luonteeltaan Mark Zuckerberg käytä ilmausta: «Hieman taikaa«, Kun aion ladata kuvia Facemashille 😀 ja se on totta, wget avulla voit tehdä taikuutta sopivilla parametreilla.

Katsotaanpa muutama esimerkki, aloitetaan työkalun yksinkertaisesta käytöstä.

Sivulle siirtyminen:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Voit ladata koko sivuston rekursiivisesti, mukaan lukien kuvat ja muun tyyppiset tiedot:

$ wget -r https://blog.desdelinux.net/

Ja tässä tulee taika. Kuten he selittävät meille artikkelissa Ihmiset, monet sivustot tarkistavat selaimen identiteetin soveltamaan erilaisia ​​rajoituksia. Kanssa wget voimme kiertää tämän seuraavalla tavalla:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Tai voimme myös keskeyttää jokaisen sivun, koska muuten sivuston omistaja voi huomata, että lataamme sivuston kokonaan wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Jätä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

*

*

  1. Vastuussa tiedoista: Miguel Ángel Gatón
  2. Tietojen tarkoitus: Roskapostin hallinta, kommenttien hallinta.
  3. Laillistaminen: Suostumuksesi
  4. Tietojen välittäminen: Tietoja ei luovuteta kolmansille osapuolille muutoin kuin lain nojalla.
  5. Tietojen varastointi: Occentus Networks (EU) isännöi tietokantaa
  6. Oikeudet: Voit milloin tahansa rajoittaa, palauttaa ja poistaa tietojasi.

  1.   92 dijo

    On jotain ladattavaa vain kuvia xd?

    1.    Rohkeus dijo
      1.    92 dijo

        lol oo xd

    2.    KZKG ^ Gaara dijo

      mies wget 😉

      1.    92 dijo

        Elämä on liian lyhyt lukemaan miehiä.

        1.    KZKG ^ Gaara dijo

          Elämä on liian lyhyt täyttämään aivot tiedoilla, mutta on silti kelvollinen kokeilla 🙂

          1.    92 dijo

            Tiedot ovat puolet arvoisia, mieluummin täyttää ne naisilla, peleillä ja rahalla, jos mahdollista XD.

          2.    Rohkeus dijo

            Ajattelet aina naisia. Tästä lähtien kuuntelet Dadee Yankeeä, Don Omaria ja Wisin Y Yandelia kuten KZKG ^ Gaara.

            Omistaudu paremmin rahalle, mikä on tärkeintä tässä elämässä

            1.    KZKG ^ Gaara dijo

              On asioita, joiden arvo on paljon enemmän kuin rahaa ... esimerkiksi oleminen historiassa, muutos, muistaminen siitä, kuinka paljon onnistuit myötävaikuttamaan maailmaan; eikä kuinka paljon rahaa sinulla oli kuollessasi 😉

              Yritä olla tulematta menestysmieheksi, mutta rohkeudeksi, Albert Einsein.


          3.    Rohkeus dijo

            Ja voiko sillan alla asuva kerjäläinen tehdä sen ilman penniäkään?

            No ei

          4.    Rohkeus dijo

            *olla

          5.    92 dijo

            Rohkeutta, minulla oli reggaeton aikakauteni, enkä enää, se oli vuosia sitten, kuuntelen vain japanilaista musiikkia ja klassista musiikkia, ja rahalla ... työskentelemme sen kanssa :).

          6.    92 dijo

            Minua ei välitä tulla muistetuksi, gara, kun olen kuollut, olen kuollut ja huijata muita, koska en edes voi tietää, mitä he ajattelevat minusta. Mitä kannattaa muistaa, mutta voit olla siitä ylpeä xD.

    3.    hypersayan_x dijo

      Voit ladata tietyntyyppisiä tiedostoja suodattimien avulla:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Ja vinkki: jos aiot kloonata erittäin suuren sivun, on suositeltavaa, että teet sen välityspalvelimen, kuten torin, kautta, koska muuten on olemassa tiettyjä sivuja, jotka ovat saavuttaneet tietyn määrän peräkkäisiä pyyntöjä, estäen IP-osoitteesi useita tunteja tai päiviä .
      Toinen kerta, joka tapahtui minulle, kun halusin kloonata wikin.

    4.    mdir dijo

      Laajennus, jota käytän Firefoxissa, lataa vain kuvat; sitä kutsutaan "Tallenna kuvat 0.94"

  2.   Ruskea dijo

    eh kysymys hehe minne lataamani tiedostot tallennetaan? He haluavat tappaa minut, eikö? LOL

    1.    KZKG ^ Gaara dijo

      Tiedostot ladataan kansioon, jossa olet terminaalissa wget 😉: n suorittamisen aikana

  3.   auroszx dijo

    Ahh, en kuvitellut, että wgetillä voisi olla niin mielenkiintoinen käyttötarkoitus ... Mitä tulee rohkeuden mainitsemaan käyttöön ... Ei sanoja 😉

  4.   Carlos-Xfce dijo

    Tietääkö kukaan, onko olemassa WordPress-laajennus, joka estää Wgetiä lataamasta blogiasi?

  5.   darzee dijo

    No, se on hienoa minulle! Kiitos

  6.   piolavski dijo

    Erittäin hyvä, yritetään nähdä miten, kiitos panoksesta.

  7.   lyarmg dijo

    Vaikka pidän itseäni aloittelijana, tämä on minulle helppoa, mutta yritän sekoittaa sen muihin asioihin ja nähdä, mitä se antaa ...

  8.   Oswaldo dijo

    Toivon, että voit auttaa minua, koska se on tarkoitettu maanantaina 3. joulukuuta 2012

    Kehitettävä projekti on seuraava:

    Sivuston uudelleensijoittaminen säätämällä href-viitteitä.
    1.-Kun otetaan huomioon verkkosivusto, lataa koko sivusto paikalliseen hakemistoon wget-komennolla. Suorita seuraavat tekijät kirjoittajan käsikirjoituksen avulla:

    1.1. - Luo riippumaton hakemisto jokaiselle sisältötyypille: gif-kuvat, jpeg-kuvat jne., Avi-videot, mpg-videot jne., Mp3-ääni, wav-ääni jne., Verkkosisältö (HTML, javascript jne.).

    1.2.-Kun jokainen näistä sisällöistä on siirretty, suorita viittaukset kunkin sivuston resurssin paikallisiin sijainteihin.

    1.3.-Aktivoi verkkopalvelin ja määritä juurihakemisto, jossa verkkosivuston varmuuskopio sijaitsee, paikallisen Web-palvelimen juurihakemistona.

    1.4.-Huomaa: wget-komentoa voidaan käyttää vain seuraavilla vaihtoehdoilla:
    -Rekursiivinen
    –Domainit
    –Sivutarvikkeet
    Jos jostain syystä tarvitaan lisää komentoja, käytä niitä.

    1.    KZKG ^ Gaara dijo

      Jos haluat ladata täältä, mielestäni sinulla on ratkaisu postissa, nyt ... tiedostojen siirtämiseen ja polkujen korvaamiseen, minun piti tehdä jotain tällaista jonkin aikaa sitten työssäni, jätän sinulle käyttämäsi komentosarjan: http://paste.desdelinux.net/4670

      Muokkaat sitä ottamalla huomioon tiedostotyypin ja polun, eli kuinka sivustosi .HTML-tiedostot muodostuvat.

      Tämä ei ole 100-prosenttinen ratkaisu, koska sinun on tehtävä joitain järjestelyjä tai muutoksia, mutta takaan, että se on 70 tai 80% kaikesta työstä 😉

      1.    Oswaldo dijo

        Kiitos KZKG ^ Gaara on ollut minulle suuri apu

  9.   Velka dijo

    Olen aina käyttänyt httrackia. Leikekirja Firefoxille Aion kokeilla sitä, mutta rakastan wgetiä. Kiitos!

  10.   Daniel PZ dijo

    Mies, komento ei toiminut minulle ... tämä toimi hyvin minulle:

    wget –random-wait -r -p -e -robotit = pois -U mozilla http://www.example.com

    1.    Daniel dijo

      Kiitos paljon! Käytin sitä Daniel PZ: n ehdottamien parametrien kanssa, eikä minulla ollut mitään ongelmia 🙂

  11.   Ruben Almaguer dijo

    Kiitos poika, tein sen Linux-pentuni WGetin kanssa, mutta en tiennyt miten se tehdään terminaalissa. tervehdys

  12.   mäntä dijo

    missä pidät sivuja?

    1.    kirves dijo

      Missä sinulla on terminaali auki. Aluksi käyttäjän juurikansiossa, ellet ilmoita toista polkua.

  13.   fernando dijo

    Lataa myös linkit? Joten jos on linkki pdf-tiedostoon tai muuhun asiakirjaan, lataatko myös sen?

  14.   raul dijo

    Mitä voin tehdä ladatakseni koko blogini, yritin ja mitä en näe, näyttää olevan koodeissa tai estetty huolimatta siitä, että lataamiseen kului useita tunteja, mutta vain alkuperäinen sivu voidaan lukea, jonka suosittelen lataamaan blogini, kiitos raul.

  15.   Leijona dijo

    hei, epäilystäkään on mahdollista korvata linkit html: ssä, jotta myöhemmin voit selata ladattua sivua ikään kuin se olisi alkuperäinen.

    Tapahtuu, että lataan sivun ja kun avasin sen ladatuista tiedostoista, en ottanut .css- tai .js-tiedostoja ja sivun linkit johtavat minut Internet-sivulle.