Ṣe igbasilẹ gbogbo aaye pẹlu wget paapaa ti awọn ihamọ ba wa

Kini wget?

Ko si ohun ti o dara ju Wikipedia lati ṣe alaye kini ọpa yii ni:

GNU Wget jẹ irinṣẹ sọfitiwia ọfẹ ti o fun laaye gbigba lati ayelujara ti akoonu lati awọn olupin wẹẹbu ni ọna ti o rọrun. Orukọ rẹ wa lati Wẹẹbu Wide Agbaye (w), ati lati "gba" (ni Gẹẹsi gba), eyi tumọ si: gba lati WWW.

Lọwọlọwọ o ṣe atilẹyin awọn gbigba lati ayelujara nipa lilo awọn ilana HTTP, HTTPS ati FTP.

Lara awọn ẹya ti o wu julọ julọ ti o nfun wget o ṣeeṣe fun gbigba lati ayelujara rọrun ti awọn digi ti o nira l’akoko, iyipada awọn ọna asopọ lati ṣe afihan akoonu HTML ni agbegbe, atilẹyin fun awọn aṣoju ...

De wget a ti sọ tẹlẹ to nibi ni DesdeLinux. Ni pato ya A ti rii bii a ṣe le ṣe igbasilẹ oju opo wẹẹbu ti o pari pẹlu wget, iṣoro ni pe lasiko yii awọn alakoso ko gba laaye ẹnikẹni nigbagbogbo lati ṣe igbasilẹ gbogbo oju opo wẹẹbu wọn bii iyẹn, kii ṣe nkan ti wọn fẹran gaan ... ati, o han ni mo loye. Aaye naa wa lori intanẹẹti lati kan si i, oluka naa n wọle si akoonu ti iwulo ati awọn alabojuto aaye naa ni anfani aje daradara (nipasẹ ipolowo), bii awọn abẹwo, ati bẹbẹ lọ. Ti oluka ba ṣe igbasilẹ aaye si kọmputa rẹ, kii yoo ni lati lọ si ori ayelujara lati kan si ifiweranṣẹ ti o kọja.

Lati ṣe igbasilẹ aaye kan pẹlu wget jẹ rọrun bi:

wget -r -k http://www.sitio.com

  • -r : Eyi tọka pe gbogbo oju opo wẹẹbu yoo gba lati ayelujara.
  • -k : Eyi tọka pe awọn ọna asopọ ti aaye ti o gbasilẹ yoo yipada lati rii lori awọn kọnputa laisi intanẹẹti.

Bayi, awọn nkan di idiju nigbati oluṣakoso aaye ṣe ki o nira fun wa ...

Awọn ihamọ wo le wa?

Ohun ti o wọpọ julọ ti a le rii ni pe iraye si aaye nikan ni a gba laaye ti o ba ni UserAgent ti o mọ. Ni awọn ọrọ miiran, aaye naa yoo mọ pe UserAgent ti n ṣe igbasilẹ ọpọlọpọ awọn oju-iwe kii ṣe ọkan ninu awọn “deede” nitorinaa yoo sunmọ iraye si.

Paapaa nipasẹ faili robots.txt o le sọ pato wget naa (bi opo awọn ohun elo ti o jọra diẹ sii) Iwọ kii yoo ni anfani lati ṣe igbasilẹ bi alabara ṣe fẹ, daradara ... daradara, oluṣakoso aaye fẹ rẹ, akoko 😀

Bii o ṣe le ṣe idiwọ awọn ihamọ wọnyi?

Fun ọran akọkọ a yoo fi idi UserAgent kalẹ lati wget, a le ṣe eyi pẹlu aṣayan –Olumulo-oluranlowo, nibi Mo fi ọ han bi:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Bayi, lati wa ni ayika robots.txt, kan ṣetọ faili yẹn, iyẹn ni pe, jẹ ki wget ṣe igbasilẹ aaye naa ki o ma ṣe akiyesi kini robots.txt sọ:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k-roboti = pa

Bayi ... awọn aṣayan miiran wa tabi awọn ipele ti a le lo lati tan aaye jẹ paapaa diẹ sii, fun apẹẹrẹ, tọka pe a wọ aaye lati Google, nibi Mo fi ila laini pẹlu ohun gbogbo silẹ:

wget --header = "Gba: ọrọ / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e roboti = pipa -k

Ko ṣe dandan pe aaye naa ni http: // www ni ibẹrẹ, o le jẹ ọkan taara http: // bi fun apẹẹrẹ eleyi geometry Dash

Ṣe o dara lati ṣe eyi?

Iyẹn dale ... o nigbagbogbo ni lati rii lati awọn oju wiwo mejeeji, lati ọdọ oluṣakoso aaye ṣugbọn tun lati ọdọ oluka naa.

Ni apa kan, bi alakoso, Emi ko fẹran pe wọn n gba ẹda HTML ti aaye mi bii iyẹn, o wa nibi ori ayelujara kii ṣe fun idunnu, fun igbadun gbogbo eniyan ... ibi-afẹde wa ni lati ni akoonu ti o nifẹ si wa fun ọ, pe o le kọ ẹkọ.

Ṣugbọn, ni apa keji ... awọn olumulo wa ti ko ni intanẹẹti ni ile, ti yoo fẹ lati ni gbogbo apakan Awọn Tutorials ti a ti fi si ibi ... Mo fi ara mi si ipo wọn (ni otitọ Emi ni, nitori ni ile Emi ko ni intanẹẹti) ati pe kii ṣe igbadun lati wa lori kọnputa, ni iṣoro kan tabi fẹ ṣe nkan kan ati pe ko le ṣe nitori o ko ni iwọle si nẹtiwọọki ti awọn nẹtiwọọki.

Boya o tọ tabi aṣiṣe ni o jẹ fun olutọju kọọkan, otitọ ti ẹni kọọkan ... kini yoo ṣe aniyan pupọ julọ mi yoo jẹ agbara ohun elo ti wget fa lori olupin, ṣugbọn pẹlu eto kaṣe ti o dara o yẹ ki o to fun olupin ko jiya.

ayelujara

Awọn ipinnu

Mo beere lọwọ rẹ ki o ma bẹrẹ gbigba lati ayelujara lati ọdọ Linux bayi, HAHAHA! Fun apẹẹrẹ, ọrẹbinrin mi beere lọwọ mi lati ṣe igbasilẹ diẹ ninu awọn Iyanjẹ Dash Geometry (ohunkan bi Awọn Cheat Cheash Geometry), Emi kii ṣe igbasilẹ gbogbo oju opo wẹẹbu ṣugbọn o kan ṣii oju-iwe ti o fẹ ki o fi pamọ si PDF tabi HTML tabi nkan bii iyẹn ni ohun ti Emi yoo ṣe ṣeduro si ọ.

Ti o ba ni idanileko DesdeLinux ti o fẹ lati fipamọ, ṣafipamọ rẹ ninu awọn bukumaaki rẹ, bii HTML tabi PDF ... ṣugbọn, fun awọn ẹkọ kan tabi meji ko ṣe pataki lati ṣe agbejade ijabọ pupọ ati agbara lori olupin 😉

Daradara ohunkohun, Mo nireti pe o wulo ... Ẹ kí


Awọn akoonu ti nkan naa faramọ awọn ilana wa ti awọn ilana olootu. Lati jabo aṣiṣe kan tẹ nibi.

Awọn asọye 23, fi tirẹ silẹ

Fi ọrọ rẹ silẹ

Adirẹsi imeeli rẹ yoo ko le ṣe atejade. O beere aaye ti wa ni samisi pẹlu *

*

*

  1. Lodidi fun data naa: Miguel Ángel Gatón
  2. Idi ti data naa: SPAM Iṣakoso, iṣakoso ọrọ asọye.
  3. Ofin: Iyọọda rẹ
  4. Ibaraẹnisọrọ data: Awọn data kii yoo ni ifọrọhan si awọn ẹgbẹ kẹta ayafi nipasẹ ọranyan ofin.
  5. Ibi ipamọ data: Alaye data ti o gbalejo nipasẹ Awọn nẹtiwọọki Occentus (EU)
  6. Awọn ẹtọ: Ni eyikeyi akoko o le ni opin, gba pada ki o paarẹ alaye rẹ.

  1.   igbagbogbo3000 wi

    Sample awon. Emi ko mọ pe o le ṣe bẹ.

  2.   Emmanuel wi

    O jẹ gangan ohun ti o ti ṣẹlẹ si mi lẹmeji, ati pe o daju nitori rẹ. Botilẹjẹpe, o jẹ fun awọn idi iyara (ile la ile-ẹkọ giga) ti Mo fẹ lati wọle si akoonu ni ọna naa. 😛
    O ṣeun fun imọran naa. Ṣe akiyesi.

  3.   Gerardo wi

    O dara fun awa ti awa ko ni intanẹẹti. Esan ti o dara Tutorial.

  4.   Quinotto wi

    Gan awon article.
    Ibeere: bawo ni o ṣe le ṣe fun awọn aaye https?
    Nibo ni o nilo lati jẹrisi nipasẹ orukọ olumulo ati ọrọ igbaniwọle ati tun apakan nla ti aaye naa ni kikọ ni Java?
    Ẹ ati ọpẹ

  5.   Gelibiomu wi

    ati nibo ni awọn igbasilẹ ti wa ni fipamọ?

    1.    Gelibiomu wi

      Mo dahun ara mi: ninu folda ti ara ẹni. Ṣugbọn nisisiyi ibeere naa ni ... o le sọ bakan fun u ni ibiti o le ṣe igbasilẹ akoonu naa?

      o ṣeun

      1.    Daniel wi

        Mo gboju le won pe o wọle si folda akọkọ nibiti o fẹ lati fipamọ ati lẹhinna o nṣiṣẹ wget

  6.   cristian wi

    ìbéèrè ... ati pe ohunkan bi eleyi yoo wa si “ẹda oniye” ibi ipamọ data kan

  7.   xphnx wi

    Mo ni iwariiri, ṣe o gba owo fun gbigbe awọn ọna asopọ wọnyẹn si awọn webs micro-niches?

  8.   Rupert wi

    Olubukun wget ... iyẹn ni bi Mo ṣe gba ọpọlọpọ ere onihoho silẹ ni awọn ọjọ ẹlẹdẹ mi xD

  9.   alunado wi

    ti o dara sample. o ṣeun

  10.   NULL wi

    O dara pupọ, Mo fẹran apakan nipa yika awọn ihamọ naa.

  11.   Franz wi

    O ṣeun fun tiodaralopolopo na:
    wget –header = »Gba: ọrọ / html» –user-agent = »Mozilla / 5.0 (X11; Linux i686; rv: 31) Gecko / 20100101 Firefox / 31 ″ –referer = http: //www.google.com - r https://launchpad.net/~linux-libre/+archive/ubuntu/rt-ppa/+files/linux-image-3.6.11-gnu-3-generic_3.6.11-gnu-3.rt25.precise1_i386.deb -k -e roboti = pipa

    wget –header = »Gba: ọrọ / html» –user-agent = »Mozilla / 5.0 (X11; Linux i686; rv: 31) Gecko / 20100101 Firefox / 31 ″ –referer = http: //www.google.com - r https://launchpad.net/~linux-libre/+archive/ubuntu/rt-ppa/+files/linux-headers-3.6.11-gnu-3_3.6.11-gnu-3.rt25.precise1_all.deb -k -e roboti = pipa

    wget –header = »Gba: ọrọ / html» –user-agent = »Mozilla / 5.0 (X11; Linux i686; rv: 31) Gecko / 20100101 Firefox / 31 ″ –referer = http: //www.google.com - r https://launchpad.net/~linux-libre/+archive/ubuntu/rt-ppa/+files/linux-headers-3.6.11-gnu-3-generic_3.6.11-gnu-3.rt25.precise1_i386.deb -k -e roboti = pipa

  12.   Awọn eyelele wi

    Nkan awon

  13.   Oscar Meza wi

    wget jẹ ọkan ninu awọn irinṣẹ alagbara-agbara wọnyẹn, pẹlu siseto ebute kekere kan o le ṣe robot ara-google lati bẹrẹ gbigba akoonu ti awọn oju-iwe naa ki o tọju rẹ sinu ibi ipamọ data tirẹ ki o ṣe ohunkohun ti o fẹ nigbamii pẹlu data yẹn.

  14.   Carlos G wi

    Mo rii ohun elo ti o dun pupọ, Emi ko ti fiyesi si awọn ipo rẹ rara, Emi yoo fẹ lati mọ boya o ṣee ṣe lati ṣe igbasilẹ akoonu lati oju-iwe «X» eyiti o nilo lati buwolu wọle lati tẹ, ati pe ti o ba wa nibikan lori aaye yii “X” fidio eyikeyi wa, ṣe Emi yoo tun gba lati ayelujara paapaa ti o ba jẹ ti CDN ti o yatọ si aaye “X” naa?

    Ti eyi ba ṣee ṣe, bawo ni aaye ṣe ṣe aabo lodi si iru irinṣẹ bẹẹ?

    Saludos!

  15.   Erick zanardi wi

    Kasun layọ o:

    Mo nkọwe si ọ fun imọran kan. Mo gba lati ayelujara pẹlu aṣẹ ti o kẹhin ti nkan yii, o fẹrẹ to 300MB ti alaye .. awọn faili .swf, .js, .html, lati oju-iwe http://www.netacad.com/es pẹlu olumulo mi lati papa kekere ti Mo ṣe ni Maracay, Venezuela.

    Ibeere mi ni… Ṣe yoo ṣee ṣe lati wo awọn idanilaraya filasi?

    Mo tẹ “Iṣeto ni agbaye” ati awọn aṣayan ti o fihan pe ko si ọkan ti o gba mi laaye lati tunto.

    Mo riri eyikeyi idahun.

    O ṣeun ni ilosiwaju!

    1.    ADX wi

      Mo ni awọn apejuwe kanna, awọn .swf ti wa ni gbaa lati ayelujara idaji, ti o ba ṣakoso lati foju rẹ, pin alaye mi. Ohun ti Mo gbiyanju nikẹhin ni lati lo alantakun lati gba gbogbo awọn ọna asopọ netacad ṣugbọn sibẹ .swf ko pari gbigba lati ayelujara bi o ti yẹ

  16.   alejandro.hernandez wi

    o dara pupo !!! o ṣeun.

  17.   Ana wi

    Kaabo, o ṣeun fun tuto rẹ. Mo n gbiyanju lati ṣe igbasilẹ bulọọgi kan ninu eyiti wọn pe mi, pẹlu ọrọ igbaniwọle kan, ki emi le ka a lati ile laisi isopọ kan. Mo lo eto yii, ati ni gbangba, Mo ni ọrọ igbaniwọle ti bulọọgi (wordpress), ṣugbọn Emi ko mọ bi mo ṣe le tẹsiwaju. Ṣe o le fihan mi?
    O ṣeun ni ilosiwaju ati awọn ti o dara julọ!

  18.   Fran wi

    kini ifiweranṣẹ nla !!!

  19.   Santiago wi

    o dara julọ o ti ṣe iranṣẹ fun mi pupọ

  20.   Fran wi

    Mo ti wọle si oju opo wẹẹbu kan pẹlu awọn fidio vimeo ti a fi sinu ati pe ko si ọna fun wọn lati gba lati ayelujara .. o dabi ẹni pe vimeo ni aabo wọn. Awọn imọran eyikeyi ??