Izmantojot termināli: lejupielādējiet pilnu vietni ar Wget

Nekas labāks par Wikipedia izskaidrot, no kā sastāv šis rīks:

GNU Wget ir bezmaksas programmatūras rīks, kas vienkāršā veidā ļauj lejupielādēt saturu no tīmekļa serveriem. Tās nosaukums cēlies no globālā tīmekļa (w) un no “get” (angļu valodā get) tas nozīmē: iegūt no WWW.

Pašlaik tā atbalsta lejupielādes, izmantojot HTTP, HTTPS un FTP protokolus.

Starp izcilākajām tā piedāvātajām funkcijām wget ir iespēja ērti lejupielādēt sarežģītus spoguļus rekursīvi, pārveidot saites, lai lokāli parādītu HTML saturu, atbalstīt starpniekserverus ...

Ir taisnība, ka ir arī citas lietojumprogrammas, kas mums palīdz veikt šāda veida darbu, piemēram, httrack vai pat paplašinājumi FirefoxAlbumu saraksts, bet nekas līdzīgs termināla vienkāršībai 😀

Darot maģiju

Man bija interese par filmu: Sociālais tīklskā raksturs Marks_Zukerbergs izmantojiet frāzi: «Mazliet burvju«, Kad es gribēju lejupielādēt Facemash fotoattēlus 😀 un tā ir taisnība, wget ļauj jums veikt maģiju ar atbilstošajiem parametriem.

Apskatīsim pāris piemērus, sāksim ar vienkāršu rīka lietošanu.

Lai pārietu pa lapu:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Rekursīvi lejupielādējiet visu vietni, ieskaitot attēlus un cita veida datus.

$ wget -r https://blog.desdelinux.net/

Un šeit nāk burvība. Kā arī paskaidrots Cilvēki, daudzas vietnes pārbauda pārlūka identitāti, lai piemērotu dažādus ierobežojumus. Ar wget mēs to varam apiet šādā veidā:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Vai arī mēs varam pauzēt starp katru lapu, jo pretējā gadījumā vietnes īpašnieks var saprast, ka vietni mēs pilnībā lejupielādējam ar wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Atstājiet savu komentāru

Jūsu e-pasta adrese netiks publicēta. Obligātie lauki ir atzīmēti ar *

*

*

  1. Atbildīgais par datiem: Migels Ángels Gatóns
  2. Datu mērķis: SPAM kontrole, komentāru pārvaldība.
  3. Legitimācija: jūsu piekrišana
  4. Datu paziņošana: Dati netiks paziņoti trešām personām, izņemot juridiskus pienākumus.
  5. Datu glabāšana: datu bāze, ko mitina Occentus Networks (ES)
  6. Tiesības: jebkurā laikā varat ierobežot, atjaunot un dzēst savu informāciju.

  1.   92 teica

    Ir ko lejupielādēt tikai attēlus xd?

    1.    Drosme teica

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      Ka es tikko lasīju jūsu domas hahahaha

      1.    92 teica

        lol oo xd

    2.    KZKG ^ Gaara teica

      cilvēks wget 😉

      1.    92 teica

        Dzīve ir pārāk īsa, lai lasītu vīrus.

        1.    KZKG ^ Gaara teica

          Dzīve ir pārāk īsa, lai piepildītu smadzenes ar informāciju, taču tā joprojām ir derīga, lai mēģinātu 🙂

          1.    92 teica

            Informācija ir pusi vērts, es labāk izvēlos to aizpildīt ar sievietēm, spēlēm un naudu, ja iespējams, XD.

          2.    Drosme teica

            Jūs vienmēr esat drātēšanās domājusi par sievietēm. Turpmāk jūs klausīsities Dadee Yankee, Don Omar un Wisin Y Yandel, tāpat kā KZKG ^ Gaara.

            Labāk veltiet sevi naudai, kas ir vissvarīgākā lieta šajā dzīvē

            1.    KZKG ^ Gaara teica

              Ir lietas, kuru vērtība ir daudz vairāk nekā nauda ... piemēram, būt vēsturē, kaut ko mainīt, atcerēties par to, cik daudz jums izdevās dot ieguldījumu pasaulē; un nevis par to, cik daudz naudas tev bija, kad nomiri 😉

              Centieties nekļūt par veiksmīgu, bet par drosmīgu cilvēku Albertu Einseinu.


          3.    Drosme teica

            Un vai ubags, kurš dzīvo zem tilta, to var izdarīt bez santīma?

          4.    Drosme teica

            *piederēt

          5.    92 teica

            Drosme, man bija regetona laikmets, un vairs ne, tas bija pirms gadiem, es klausos tikai japāņu mūziku un klasisko mūziku, un par naudu ... mēs pie tā strādājam :).

          6.    92 teica

            Man ir vienalga, ka mani atceras, gara, kad es nomiršu, es nomiršu un pārējos skrūvīšu, jo es pat nevarēšu uzzināt, ko viņi par mani domā. Ko ir vērts atcerēties, bet ar to var lepoties xD.

    3.    hypersayan_x teica

      Lai lejupielādētu noteikta veida failus, varat izmantot filtrus:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Un padoms. Ja jūs gatavojaties klonēt ļoti lielu lapu, ieteicams to izdarīt, izmantojot starpniekserveri, piemēram, tor, jo pretējā gadījumā ir dažas lapas, kuras ir sasniegušas noteiktu skaitu secīgu pieprasījumu, bloķējot jūsu IP vairākas stundas vai dienas .
      Otra reize, kas notika ar mani, kad es gribēju klonēt wiki.

    4.    mdir teica

      Paplašinājums, kuru izmantoju Firefox, lejupielādē tikai attēlus; to sauc par "Saglabāt attēlus 0.94"

  2.   Pardo teica

    eh jautājums hehe kur ir saglabāti mani lejupielādētie faili? Viņi grib mani nogalināt, vai ne? LOL

    1.    KZKG ^ Gaara teica

      Faili tiek lejupielādēti mapē, kurā atrodaties terminālā, izpildot wget get

  3.   auroszx teica

    Ahh, es neiedomājos, ka wget varētu izmantot tik interesanti ... Tagad, runājot par drosmes pieminēto lietojumu ... Nav vārdu 😉

  4.   Karloss-Xfce teica

    Vai kāds zina, vai ir kāds WordPress spraudnis, kas neļauj Wget lejupielādēt jūsu emuāru?

  5.   darzee teica

    Nu, man tas ir lieliski !! Paldies

  6.   piolavskis teica

    Ļoti labi, mēģināsim redzēt, kā, paldies par ieguldījumu.

  7.   Lyairmg teica

    Lai gan es uzskatu sevi par iesācēju, man tas tagad ir viegli, mēģināšu to sajaukt ar citām lietām un redzēt, ko tas dod ...

  8.   osvaldo teica

    Es ceru, ka jūs varat man palīdzēt, jo tas paredzēts pirmdien, 3. gada 2012. decembrī

    Izstrādājamais projekts ir šāds:

    Vietnes pārvietošana, pielāgojot href atsauces.
    1. Ņemot vērā vietni, lejupielādējiet visu vietējo direktoriju, izmantojot komandu wget. Izmantojot autorības scenāriju, veiciet šādas darbības:

    1.1. - Izveidojiet neatkarīgu direktoriju katram satura veidam: gif attēli, jpeg attēli utt., Avi video, mpg video utt., Mp3 audio, wav audio utt., Tīmekļa saturs (HTML, javascript utt.)

    1.2.-Kad katrs no šiem saturiem ir pārvietots, veiciet atsauču pielāgošanu katra resursa vietējām atrašanās vietām vietnē.

    1.3.-aktivizējiet tīmekļa serveri un kā vietējā tīmekļa servera saknes direktoriju konfigurējiet saknes direktoriju, kurā atrodas vietnes dublējums.

    1.4.-Piezīme: komandu wget var izmantot tikai ar šādām opcijām:
    – Rekursīvs
    –Domēni
    –Lappušu rekvizīti
    Ja kāda iemesla dēļ ir nepieciešamas vairāk komandu, izmantojiet nepieciešamās.

    1.    KZKG ^ Gaara teica

      Lai lejupielādētu šeit, es domāju, ka jums ir ziņojumā esošais risinājums, tagad ... lai pārvietotu failus un aizstātu ceļus, man pirms kāda laika bija jādara kaut kas līdzīgs šim darbam, es jums atstāju izmantoto skriptu: http://paste.desdelinux.net/4670

      Jūs to modificējat, ņemot vērā faila tipu un ceļu, tas ir, kā un kā tiek veidoti jūsu vietnes .HTML.

      Tas nav 100% risinājums, jo jums ir jāveic daži pasākumi vai izmaiņas, bet es garantēju, ka tas ir 70 vai 80% no visa darba 😉

      1.    osvaldo teica

        Paldies KZKG ^ Gaara man ir bijis liels palīgs

  9.   Parāds teica

    Es vienmēr esmu izmantojis httrack. Izdzēšamā grāmata Firefox, es to izmēģināšu, bet man patīk wget. Paldies!

  10.   Daniels PZ teica

    Cilvēks, komanda man nedarbojās ... šī man labi darbojās:

    wget –random-wait -r -p -e roboti = izslēgts -U mozilla http://www.example.com

    1.    Daniel teica

      Liels paldies! Es to izmantoju ar Daniel PZ ierosinātajiem parametriem, un man nebija problēmu 🙂

  11.   Rubeens Almaguers teica

    Paldies zēns, es to izdarīju ar WGet uz sava Linux kucēna, bet es nezināju, kā to izdarīt terminālā. sveiciens

  12.   virzuļa teica

    kur jūs glabājat lapas?

    1.    Hache teica

      Kur jums ir atvērts terminālis. Sākumā lietotāja saknes mapē, ja vien nenorādat citu ceļu.

  13.   Fernando teica

    Vai arī lejupielādēt saites? Tātad, ja ir saite uz pdf vai citu dokumentu, vai jūs to arī lejupielādējat?

  14.   upe teica

    Ko es varu darīt, lai lejupielādētu visu emuāru? Es to izmēģināju, un šķiet, ka tas, kas nav redzams, ir kodos vai bloķēts, neskatoties uz to, ka lejupielādei bija nepieciešamas daudzas stundas, bet lasīt var tikai sākotnējo lapu, kuru iesaku lejupielādēt savā emuārā, paldies raul.

  15.   Lauva teica

    sveiki, šaubos, vai ir iespējams aizstāt saites html, lai vēlāk varētu pārlūkot lejupielādēto lapu tā, it kā tā būtu oriģinālā.

    Notiek tas, ka es lejupielādēju lapu un, kad to atvēru no lejupielādētajiem failiem, es neuzņēmu .css vai .js, un lapā esošās saites mani aizved uz interneta lapu.