A terminállal: Töltsön le egy teljes weboldalt a Wget segítségével

Semmi sem jobb, mint Wikipedia elmagyarázni, miből áll ez az eszköz:

GNU Wget egy ingyenes szoftvereszköz, amely egyszerű módon lehetővé teszi a tartalom letöltését a webszerverekről. Neve a világhálóból származik (w), a "get" (angolul get) szóból pedig azt jelenti: get from the WWW.

Jelenleg a HTTP, HTTPS és FTP protokollok használatával támogatja a letöltéseket.

A legkiemelkedőbb szolgáltatások között kínál wget lehetőség van a komplex tükrök rekurzív letöltésére, linkek konvertálására a HTML-tartalom helyi megjelenítésére, a proxyk támogatása ...

Igaz, hogy vannak más alkalmazások is, amelyek segítenek minket ilyen típusú munkák elvégzésében, mint pl httrack vagy akár kiterjesztések a Firefox mint scrapbook, de semmi hasonló a terminál egyszerűségéhez 😀

A varázslat végzése

Kíváncsi voltam a filmre: The Social Network, mint a karaktere Mark Zuckerberg használja a következő kifejezést: «Egy kis varázslat«, Amikor éppen letölteni készültem a Facemash fényképeket, igaz, wget lehetővé teszi, hogy varázsoljon a megfelelő paraméterekkel.

Nézzünk meg néhány példát, kezdjük az eszköz egyszerű használatával.

Egy oldallal lefelé lépés:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

A teljes oldal rekurzív letöltése, beleértve a képeket és más típusú adatokat is:

$ wget -r https://blog.desdelinux.net/

És itt jön a varázslat. Amint azt a Emberek, sok webhely ellenőrzi a böngésző identitását a különféle korlátozások alkalmazása érdekében. Val vel wget ezt megkerülhetjük a következő módon:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Vagy szünetet tarthatunk az egyes oldalak között is, különben a webhely tulajdonosa rájöhet, hogy a webhelyet teljesen az alkalmazással töltjük le wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Hagyja megjegyzését

E-mail címed nem kerül nyilvánosságra. Kötelező mezők vannak jelölve *

*

*

  1. Az adatokért felelős: Miguel Ángel Gatón
  2. Az adatok célja: A SPAM ellenőrzése, a megjegyzések kezelése.
  3. Legitimáció: Az Ön beleegyezése
  4. Az adatok közlése: Az adatokat csak jogi kötelezettség alapján továbbítjuk harmadik felekkel.
  5. Adattárolás: Az Occentus Networks (EU) által üzemeltetett adatbázis
  6. Jogok: Bármikor korlátozhatja, helyreállíthatja és törölheti adatait.

  1.   92 dijo

    Van mit letölteni csak a képeket xd?

    1.    Bátorság dijo

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      Hogy most olvastam a gondolataidat hahahaha

      1.    92 dijo

        lol oo xd

    2.    KZKG ^ Gaara dijo

      ember wget 😉

      1.    92 dijo

        Az élet túl rövid ahhoz, hogy embereket olvashasson.

        1.    KZKG ^ Gaara dijo

          Az élet túl rövid ahhoz, hogy információval töltse fel az agyat, de még mindig érvényes a 🙂 kipróbálására

          1.    92 dijo

            Az információk a felét érik, inkább nőkkel, játékokkal és pénzzel töltöm ki, ha lehetséges XD.

          2.    Bátorság dijo

            Te mindig kibaszottan gondolsz a nőkre. Mostantól hallgatni fogja Dadee Yankee-t, Don Omart és Wisin Y Yandelt, mint KZKG ^ Gaara.

            Jobban szentelje magát a pénznek, ami a legfontosabb dolog ebben az életben

            1.    KZKG ^ Gaara dijo

              Vannak dolgok, amelyek sokkal többet érnek, mint a pénz ... például a történelemben való szereplés, a változás, az emlékezés arra, hogy mennyivel sikerült hozzájárulni a világhoz; és nem annyi pénzed volt, amikor meghaltál 😉

              Próbáljon nem a siker, hanem a bátorság emberévé válni, Albert Einsein.


          3.    Bátorság dijo

            És képes-e egy híd alatt élő koldus ezt megtenni egy fillér nélkül?

            Hát nem

          4.    Bátorság dijo

            *birtokolni

          5.    92 dijo

            Bátorság, megvan a reggaeton korszakom, és már nem, ez évekkel ezelőtt volt, csak japán zenét és klasszikus zenét hallgattam, és a pénzből ... azon dolgozunk :).

          6.    92 dijo

            Nem érdekel, hogy emlékezzen rám gara, amikor meghalok, meghaltam, és elcseszem a többieket, mivel nem is tudom tudni, mit gondolnak rólam. Mire érdemes emlékezni, de büszke lehet rá xD.

    3.    hypersayan_x dijo

      Egy adott típusú fájl letöltéséhez használhatja a szűrőket:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      És egy tipp: ha nagyon nagy oldalt fogunk klónozni, akkor ajánlott egy olyan proxy-n keresztül, mint például a tor, mert különben vannak olyan oldalak, amelyek elértek bizonyos számú egymást követő kérést, és több órán át vagy napig blokkolták az IP-t .
      A másik alkalommal, amikor velem történt, amikor egy wikit akartam klónozni.

    4.    mdir dijo

      Egy kiterjesztés, amelyet a Firefoxban használok, csak képeket tölt le; a neve "Képek mentése 0.94"

  2.   Barna dijo

    eh egy kérdés hehe hol vannak a letöltött fájlok? Meg akarnak ölni, igaz? LOL

    1.    KZKG ^ Gaara dijo

      A fájlok abba a mappába kerülnek letöltésre, ahol a terminálban tartózkodik a wget get végrehajtásakor

  3.   auroszx dijo

    Ahh, nem képzeltem, hogy a wget ilyen érdekes hasznát veheti ... Most, ami a bátorság által említett felhasználást illeti ... Nincs szó 😉

  4.   Carlos-Xfce dijo

    Tudja valaki, hogy van-e olyan WordPress bővítmény, amely megakadályozza, hogy a Wget letöltse a blogját?

  5.   darzee dijo

    Nos, nagyon jó nekem !! Köszönöm

  6.   piolavszki dijo

    Nagyon jó, próbáljuk meg kideríteni, hogyan, köszönöm a hozzájárulást

  7.   lyarmg dijo

    Bár kezdőnek tartom magam, ez most könnyű számomra, megpróbálom összekeverni más dolgokkal, és megnézem, mit ad ...

  8.   Oswaldo dijo

    Remélem, tudsz nekem segíteni, mert 3. december 2012-án, hétfőn szól

    A fejlesztendő projekt a következő:

    Webhely áthelyezése a href referenciák módosításával.
    1.-Tekintettel egy webhelyre, töltse le a teljes webhelyet egy helyi könyvtárba a wget paranccsal. A szerzőség forgatókönyvével hajtsa végre a következő műveleteket:

    1.1. - Hozzon létre egy független könyvtárat minden tartalomtípushoz: gif képek, jpeg képek stb., Avi videók, mpg videók stb., Mp3 audio, wav audio stb., Webes tartalom (HTML, javascript stb.).

    1.2.-Miután e tartalmak mindegyikét áthelyezték, végezze el a hivatkozások kiigazítását az egyes erőforrások helyi helyeire a webhelyen.

    1.3.-Aktiváljon egy webkiszolgálót, és állítsa be a helyi webszerver gyökérkönyvtáraként azt a gyökérkönyvtárat, ahol a webhely biztonsági másolata található.

    1.4.-Megjegyzés: A wget parancs csak a következő lehetőségekkel használható:
    – Rekurzív
    –Domainek
    –Olasz-kellékek
    Ha valamilyen okból több parancsra van szükség, használja a szükségeseket.

    1.    KZKG ^ Gaara dijo

      Itt tölthetem le, azt hiszem, megvan a megoldás a bejegyzésben, most ... fájlok áthelyezéséhez és az utak cseréjéhez egy ilyesmit kellett tennem egy ideje a munkám során, otthagytam a használt szkriptet: http://paste.desdelinux.net/4670

      A fájltípus és az elérési út figyelembevételével módosítja azt, vagyis azt, hogy miként állítják össze webhelye .HTML-jét.

      Ez nem a 100% -os megoldás, mert bizonyos intézkedéseket vagy változtatásokat kell tennie, de garantálom, hogy ez a teljes munka 70 vagy 80% -a 😉

      1.    Oswaldo dijo

        Köszönet KZKG ^ Gaara nagy segítség volt számomra

  9.   Tartozás dijo

    Mindig httracket használtam. Scrapbook for Firefox Megpróbálom, de imádom a wget-et. Köszönöm!

  10.   Daniel PZ dijo

    Ember, a parancs nem működött nálam ... ez jól működött nekem:

    wget –random-wait -r -p -e robotok = off -U mozilla http://www.example.com

    1.    Daniel dijo

      Nagyon köszönöm! Daniel PZ által javasolt paraméterekkel használtam, és nem voltak problémáim 🙂

  11.   Ruben Almaguer dijo

    Köszönöm fiú, ezt megtettem a WGet-tel a Linux kiskutyámnál, de nem tudtam, hogyan kell csinálni a terminálon. üdvözlet

  12.   dugattyú dijo

    hol tartod az oldalakat?

    1.    Fejsze dijo

      Ahol nyitva van a terminál. Eleinte a felhasználói gyökérmappában, hacsak nem jelöl meg másik utat.

  13.   Fernando dijo

    Letölti a linkeket is? Tehát ha van link egy pdf-re vagy más dokumentumra, akkor azt is letölti?

  14.   folyó dijo

    Mit tehetek a teljes blogom letöltéséhez? Megpróbáltam, és úgy tűnik, hogy amit nem látok, kódokban vagy blokkolva van, annak ellenére, hogy a letöltés sok órát vett igénybe, de csak a kezdeti oldal olvasható el, amelyet letöltésre ajánlok a blogom, köszönöm raul.

  15.   oroszlán dijo

    szia, kétséges, hogy a html-ben lévő linkeket ki lehet-e cserélni, hogy később úgy böngészhessünk a letöltött oldalon, mintha az eredeti lenne.

    Az történik, hogy letöltöm az oldalt, és amikor a letöltött fájlokból megnyitottam, nem vettem át a .css vagy .js fájlokat, és az oldalon található linkek az internet oldalára vezettek.