Терминалмен: Wget көмегімен толық веб-сайтты жүктеп алыңыз

Ештеңе жақсы Уикипедия бұл құрал неден тұратындығын түсіндіру:

GNU Wget бұл веб-серверлерден мазмұнды қарапайым жолмен жүктеуге мүмкіндік беретін ақысыз бағдарламалық құрал. Оның атауы Дүниежүзілік Интернет (w), ал «алу» (ағылшын тілінде get) деген мағынаны білдіреді, бұл WWW-тен алу.

Қазіргі уақытта ол HTTP, HTTPS және FTP протоколдары арқылы жүктеулерді қолдайды.

Ол ұсынады ең көрнекті ерекшеліктері wget күрделі айналарды рекурсивті түрде оңай жүктеу, сілтемелерді HTML мазмұнын жергілікті көрсету үшін түрлендіру, прокси-серверді қолдау мүмкіндігі бар ...

Сияқты жұмыс түрін орындауға көмектесетін басқа қосымшалар бар екені рас httrack немесе тіпті кеңейтімдер Firefox Como Скрап кітапша, бірақ терминалдың қарапайымдылығы сияқты ештеңе жоқ 😀

Сиқыр жасау

Мен фильм туралы қызық болдым: Әлеуметтік желі, сипаты ретінде Марк_Цукерберг сөйлемді қолданыңыз: «Сиқырлы сиқыр«, Мен Facemash үшін фотосуреттерді жүктегім келген кезде 😀 және бұл шындық, wget сәйкес параметрлермен сиқыр жасауға мүмкіндік береді.

Бір-екі мысал қарастырайық, құралды қарапайым қолданудан бастайық.

Параққа түсу үшін:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Бүкіл сайтты, соның ішінде кескіндер мен басқа да деректер түрлерін жүктеу үшін:

$ wget -r https://blog.desdelinux.net/

Міне, сиқыр келеді. Бізді мақалада түсіндіргендей Адамдар, көптеген шектеулерді қолдану үшін көптеген сайттар браузердің жеке басын растайды. Бірге Вегет біз мұны келесі жолмен айналып өте аламыз:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Немесе біз әр парақтың арасында кідіріс жасай аламыз, әйтпесе сайт иесі сайтты толығымен жүктеп жатқанымызды түсінуі мүмкін Вегет.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Мақаланың мазмұны біздің ұстанымдарымызды ұстанады редакторлық этика. Қате туралы хабарлау үшін нұқыңыз Мұнда.

34 пікір, өз пікіріңізді қалдырыңыз

Пікіріңізді қалдырыңыз

Сіздің электрондық пошта мекен-жайы емес жарияланады. Міндетті өрістер таңбаланған *

*

*

  1. Деректерге жауапты: Мигель Анхель Гатан
  2. Деректердің мақсаты: СПАМ-ны басқару, түсініктемелерді басқару.
  3. Заңдылық: Сіздің келісіміңіз
  4. Деректер туралы ақпарат: заңды міндеттемелерді қоспағанда, деректер үшінші тұлғаларға жіберілмейді.
  5. Деректерді сақтау: Occentus Networks (ЕО) орналастырған мәліметтер базасы
  6. Құқықтар: Сіз кез-келген уақытта ақпаратты шектей, қалпына келтіре және жоя аласыз.

  1.   92 дижо

    Тек xd кескіндерін жүктеуге болатын нәрсе бар ма?

    1.    батылдық дижо

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      Мен жай сенің ойыңды оқыдым хахахаха

      1.    92 дижо

        lol oo xd

    2.    KZKG ^ Гаара дижо

      адам wget 😉

      1.    92 дижо

        Адамдарды оқу үшін өмір тым қысқа.

        1.    KZKG ^ Гаара дижо

          Өмір миды ақпаратпен толтыру үшін өте қысқа, бірақ оны байқап көруге болады

          1.    92 дижо

            Ақпарат жартысына тең, мен оны әйелдермен, ойындармен және мүмкіндігінше ақшамен толтырғанды ​​жөн көремін XD.

          2.    батылдық дижо

            Сіз әрдайым әйелдерді ойлайсыз. Бұдан былай Дэйди Янки, Дон Омар және Визин Йанделді KZKG ^ Гаара сияқты тыңдайтын боласыз.

            Өзіңізді осы өмірдегі ең маңызды нәрсе - ақшаға жақсы арнаңыз

            1.    KZKG ^ Гаара дижо

              Ақшадан гөрі құнды нәрселер бар ... мысалы, тарихта болу, өзгеріс енгізу, әлемге қанша үлес қосқаныңыз туралы есте қалу; және сіз қайтыс болғанда қанша ақша болғаныңыз үшін емес not

              Табысты адам емес, батыл адам болуға тырысыңыз, Альберт Эйнсейн.


          3.    батылдық дижо

            Көпірдің астында тұратын қайыршы мұны тиынсыз жасай ала ма?

            Жоқ, жоқ

          4.    батылдық дижо

            * болуы

          5.    92 дижо

            Батылдық, мен реггиетон дәуірін бастан өткердім, енді бірнеше жыл бұрын мен жапон музыкасы мен классикалық музыканы ғана тыңдайтынмын, ал ақшаға біз оны істеп жатырмыз :)

          6.    92 дижо

            Мені еске алудың қажеті жоқ, гара, мен өлгенде мен өліп, қалғанын бұрап тастаймын, өйткені мен туралы не ойлайтындарын біле де алмаймын. Есте сақтаудың қажеті не, бірақ оны мақтан тұтуға болады xD.

    3.    hypersayan_x дижо

      Файлдардың белгілі бір түрін жүктеу үшін сүзгілерді пайдалануға болады:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Сонымен, егер сіз өте үлкен парақты клондамақ болсаңыз, оны тор сияқты прокси арқылы жасауыңыз ұсынылады, өйткені әйтпесе белгілі бір қатардағы сұраныстарға жеткен белгілі бір парақтар бар, сіздің IP-ні бірнеше сағат немесе күн бойы бұғаттайды .
      Мен викиді клондау керек болған кездегі басқа жағдай.

    4.    Мдир дижо

      Firefox-та қолданатын кеңейтім тек суреттерді жүктейді; ол «Суреттерді сақтау 0.94» деп аталады

  2.   Pardo дижо

    эхх сұрақ, мен жүктеген файлдар қайда сақталды? Олар мені өлтіргісі келеді, солай ма? қатты күлу

    1.    KZKG ^ Гаара дижо

      Wget 😉 орындау кезінде файлдар сіз терминалда орналасқан қалтаға жүктеледі

  3.   AurosZx дижо

    Ахх, менде Wget мұндай қызықты қолданыста болады деп ойлаған емеспін ... Енді батыл айтатын қолдануға қатысты ... Сөз жоқ 😉

  4.   Карлос-Xfce дижо

    Wget-тің блогты жүктеуіне кедергі болатын WordPress қосылатын модулі бар-жоғын біреу біле ме?

  5.   дарзи дижо

    Бұл мен үшін керемет !! Рақмет сізге

  6.   пиолавский дижо

    Өте жақсы, үлес үшін рахмет, қалай екенін көруге тырысайық.

  7.   lyairmg дижо

    Мен өзімді жаңадан бастаушы деп санасам да, мен үшін бұл оңай, енді мен оны басқалармен араластырып, оның не беретінін көруге тырысамын ....

  8.   освальдо дижо

    Сіз маған көмектесе аласыз деп үміттенемін, себебі бұл 3 жылдың 2012 желтоқсанында

    Әзірленетін жоба мыналар:

    Href сілтемелерін түзету арқылы веб-сайтты көшіру.
    1.-Веб-сайтты қарастырып, wget пәрмені арқылы сайттың толық нұсқасын жергілікті каталогқа жүктеңіз. Авторлықтың сценарийі арқылы келесі әрекеттерді орындаңыз:

    1.1.-Мазмұнның әр түрі үшін дербес каталог жасаңыз: gif кескіндері, jpeg кескіндері және т.б., avi бейнелер, mpg бейнелері және т.б., mp3 аудио, wav аудио және т.б., веб-мазмұн (HTML, javascript және т.с.с.).

    1.2.-Осы мазмұнның әрқайсысы басқа жерге көшірілгеннен кейін, сайттағы әр ресурстардың жергілікті жерлеріне сілтемелерді түзетуді жүзеге асырыңыз.

    1.3.-Веб-серверді қосып, веб-сайттың резервтік көшірмесі орналасқан түбірлік каталогты жергілікті веб-сервердің түбірлік каталогы ретінде теңшеңіз.

    1.4.-Ескерту: wget пәрменін тек келесі параметрлермен пайдалануға болады:
    –Рекурсивті
    –Домендер
    - беттің деректемелері
    Егер қандай да бір себептермен қосымша командалар қажет болса, қажет командаларды қолданыңыз.

    1.    KZKG ^ Гаара дижо

      Мұнда жүктеп алу үшін сізде постта шешім бар деп ойлаймын, енді ... файлдарды жылжыту және жолдарды ауыстыру үшін, мен біраз уақыт бұрын өз жұмысымда осындай нәрсе жасауым керек еді, мен сізге қолданған сценарийді қалдырдым: http://paste.desdelinux.net/4670

      Сіз оны файл түрін және жолын, яғни сіздің сайтыңыздың .HTML-дің қалай жасалатынын ескере отырып өзгертесіз.

      Бұл 100% шешім емес, өйткені сіз кейбір келісімдер немесе өзгертулер енгізуіңіз керек, бірақ мен бұл жұмыстың 70 немесе 80% екеніне кепілдік беремін 😉

      1.    освальдо дижо

        Рахмет KZKG ^ Гаара маған үлкен көмек болды

  9.   Қарыз дижо

    Мен әрқашан httrack қолдандым. Firefox-қа арналған альбомдар мен оны сынап көргім келеді, бірақ мен вгетті жақсы көремін. Рақмет сізге!

  10.   Daniel PZ дижо

    Адам, бұйрық маған көмектеспеді ... бұл маған жақсы әсер етті:

    wget –random-wait -r -p -e роботтары = off -U mozilla http://www.example.com

    1.    Дэниел дижо

      Көп рақмет! Мен оны Daniel PZ ұсынған параметрлермен қолдандым және менде қиындықтар болған жоқ 🙂

  11.   Рубен Альмагер дижо

    Рахмет бала, мен мұны Linux күшігімде WGet арқылы жасадым, бірақ оны терминалда қалай жасау керектігін білмедім. сәлем

  12.   поршень дижо

    парақтарды қайда сақтайсыз?

    1.    балта дижо

      Терминал ашық жерде. Бастапқыда, егер сіз басқа жолды көрсетпесеңіз, пайдаланушының түбірлік қалтасында.

  13.   Фернандо дижо

    Сілтемелерді жүктеп алыңыз? Егер pdf немесе басқа құжатқа сілтеме болса, сіз оны да жүктейсіз бе?

  14.   Рауль дижо

    Блогымды толығымен жүктеп алу үшін не істей аламын, мен көре алмайтын нәрселер кодтарда немесе бұғатталған сияқты, жүктеуге бірнеше сағат кетсе де, тек бастапқы парақты оқуға болады, мен жүктеуге кеңес беремін менің блогым, рахмет.

  15.   Leo дижо

    сәлем, HTML-дегі сілтемелерді ауыстыруға болады, кейінірек жүктелген парақты түпнұсқасы сияқты шолуға болады.

    Мен парақты жүктеймін және оны жүктелген файлдардан ашқан кезде .css немесе .js қабылдамадым және парақтағы сілтемелер мені Интернеттегі параққа жетелейді.