Dengan terminal: Muat turun laman web lengkap dengan Wget

Tidak ada yang lebih baik daripada Wikipedia untuk menerangkan apa yang terdiri daripada alat ini:

GNU Wget adalah alat perisian percuma yang membolehkan memuat turun kandungan dari pelayan web dengan cara yang mudah. Namanya berasal dari World Wide Web (w), dan dari "get" (dalam bahasa Inggeris get), ini bermaksud: dapatkan dari WWW.

Pada masa ini ia menyokong muat turun menggunakan protokol HTTP, HTTPS dan FTP.

Antara ciri paling hebat yang ditawarkannya wget ada kemungkinan memuat turun cermin kompleks secara berulang, penukaran pautan untuk memaparkan kandungan HTML secara tempatan, sokongan untuk proksi ...

Memang benar bahawa ada aplikasi lain yang membantu kita melakukan kerja seperti ini httrack atau bahkan sambungan untuk Firefox sebagai Buku skrap, tetapi tidak seperti kesederhanaan terminal 😀

Melakukan sihir

Saya ingin tahu mengenai filem ini: The Social Network, sebagai watak Mark Zuckerberg gunakan frasa: «Sedikit wget ajaib«, Semasa hendak memuat turun foto untuk Facemash 😀 dan memang benar, wget membolehkan anda melakukan sihir dengan parameter yang sesuai.

Mari kita lihat beberapa contoh, mari kita mulakan dengan penggunaan alat ini dengan mudah.

Untuk turun halaman:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Untuk memuat turun keseluruhan laman web secara berulang, termasuk gambar dan jenis data lain:

$ wget -r https://blog.desdelinux.net/

Dan inilah sihirnya. Seperti yang mereka jelaskan dalam artikel Manusia, banyak laman web mengesahkan identiti penyemak imbas untuk menerapkan pelbagai sekatan. Dengan wget kita boleh mengelakkannya dengan cara berikut:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Atau kami juga boleh berhenti sebentar di antara setiap halaman, kerana jika tidak, pemilik laman web mungkin menyedari bahawa kami memuat turun laman web sepenuhnya dengan wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Kandungan artikel mematuhi prinsip kami etika editorial. Untuk melaporkan ralat, klik di sini.

34 komen, tinggalkan komen anda

Tinggalkan komen anda

Alamat email anda tidak akan disiarkan. Ruangan yang diperlukan ditanda dengan *

*

*

  1. Bertanggungjawab atas data: Miguel Ángel Gatón
  2. Tujuan data: Mengendalikan SPAM, pengurusan komen.
  3. Perundangan: Persetujuan anda
  4. Komunikasi data: Data tidak akan disampaikan kepada pihak ketiga kecuali dengan kewajiban hukum.
  5. Penyimpanan data: Pangkalan data yang dihoskan oleh Occentus Networks (EU)
  6. Hak: Pada bila-bila masa anda boleh menghadkan, memulihkan dan menghapus maklumat anda.

  1.   pandev92 kata

    Ada sesuatu untuk memuat turun hanya gambar xd?

    1.    Keberanian kata

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      Itu saya baru baca fikiran anda hahahaha

      1.    pandev92 kata

        lol oo xd

    2.    KZKG ^ Gaara kata

      lelaki wget 😉

      1.    pandev92 kata

        Hidup ini terlalu pendek untuk dibaca oleh lelaki.

        1.    KZKG ^ Gaara kata

          Kehidupan terlalu pendek untuk mengisi otak dengan maklumat, tetapi masih berlaku untuk mencuba 🙂

          1.    pandev92 kata

            Maklumat bernilai separuh, saya lebih suka mengisinya dengan wanita, permainan dan wang jika mungkin XD.

          2.    Keberanian kata

            Anda selalu memikirkan wanita. Mulai sekarang anda akan mendengar Dadee Yankee, Don Omar dan Wisin Y Yandel seperti yang dilakukan oleh KZKG ^ Gaara.

            Dedikasikan diri anda dengan lebih baik untuk wang, yang merupakan perkara terpenting dalam hidup ini

            1.    KZKG ^ Gaara kata

              Ada perkara yang bernilai lebih daripada wang ... contohnya, dalam sejarah, membuat perbezaan, diingati betapa anda berjaya menyumbang kepada dunia; dan bukan untuk berapa banyak wang yang anda ada semasa anda meninggal 😉

              Usahakan untuk tidak menjadi orang yang berjaya tetapi seorang yang berani, Albert Einsein.


          3.    Keberanian kata

            Dan bolehkah pengemis yang tinggal di bawah jambatan dapat melakukan itu tanpa mempunyai sesen pun?

            Tidak, tidak

          4.    Keberanian kata

            * mempunyai

          5.    pandev92 kata

            Keberanian, saya mempunyai era reggaeton saya dan tidak lagi, iaitu bertahun-tahun yang lalu, saya hanya mendengar muzik Jepun dan muzik klasik, dan dengan wang… kami mengusahakannya :).

          6.    pandev92 kata

            Saya tidak perlu dikenang, gara, apabila saya akan mati, saya akan mati dan memarahi yang lain, kerana saya tidak akan dapat mengetahui apa yang mereka fikirkan tentang saya. Apa yang patut diingat tetapi anda boleh berbangga dengannya xD.

    3.    hypersayan_x kata

      Untuk memuat turun jenis fail tertentu, anda boleh menggunakan penapis:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Dan petua, jika anda akan mengklon halaman yang sangat besar, disarankan agar anda melakukannya melalui proksi seperti tor, kerana jika tidak ada halaman tertentu yang telah mencapai sejumlah permintaan berturut-turut, menyekat IP anda selama beberapa jam atau hari .
      Masa lain yang berlaku kepada saya ketika saya mahu mengklon wiki.

    4.    Mdir kata

      Sambungan, yang saya gunakan di Firefox, memuat turun gambar sahaja; ia dipanggil "Simpan Imej 0.94"

  2.   Pardo kata

    eh soalan hehe di mana fail yang saya muat turun disimpan? Mereka akan mahu membunuh saya, bukan? LOL

    1.    KZKG ^ Gaara kata

      Fail dimuat turun ke folder di mana anda berada di terminal semasa menjalankan wget 😉

  3.   auroszx kata

    Ahh, saya tidak membayangkan bahawa wget boleh mempunyai penggunaan yang begitu menarik ... Sekarang, mengenai penggunaan yang disebutkan oleh Courage ... Tidak ada perkataan 😉

  4.   Carlos-Xfce kata

    Adakah ada yang tahu jika ada pemalam WordPress yang menghalang Wget memuat turun blog anda?

  5.   darzee kata

    Baik, ia bagus untuk saya !! Terima kasih

  6.   piolavski kata

    Bagus sekali, mari kita lihat bagaimana, terima kasih atas sumbangannya.

  7.   lyairmg kata

    Walaupun saya menganggap diri saya seorang pemula, ini mudah bagi saya sekarang, saya akan mencampurkannya dengan perkara lain dan melihat apa yang diberikannya….

  8.   oswaldo kata

    Saya harap anda dapat membantu saya kerana ini adalah untuk hari Isnin, 3 Disember 2012

    Projek yang akan dibangunkan adalah seperti berikut:

    Penempatan semula laman web dengan menyesuaikan rujukan href.
    1.-Dengan mempertimbangkan laman web, muat turun laman web lengkap ke direktori tempatan menggunakan perintah wget. Dan menggunakan skrip kepengarangan anda, lakukan operasi berikut:

    1.1.-Buat direktori bebas untuk setiap jenis kandungan: gambar gif, gambar jpeg, dll, video avi, video mpg, dll, audio mp3, audio wav, dll., Kandungan web (HTML, javascript, dll).

    1.2.-Setelah setiap isi ini dipindahkan, lakukan penyesuaian rujukan ke lokasi tempatan setiap sumber di laman web ini.

    1.3.-Aktifkan pelayan Web, dan konfigurasikan direktori root di mana sandaran laman web terletak sebagai direktori root pelayan Web tempatan.

    1.4.-Catatan: perintah wget hanya dapat digunakan dengan pilihan berikut:
    –Rekursif
    –Domains
    - Keperluan halaman
    Sekiranya untuk beberapa sebab diperlukan lebih banyak arahan, gunakan perintah yang diperlukan.

    1.    KZKG ^ Gaara kata

      Untuk memuat turun di sini, saya fikir anda mempunyai penyelesaian dalam pos, sekarang ... untuk memindahkan fail dan menggantikan jalan, saya terpaksa melakukan sesuatu seperti ini beberapa ketika dahulu dalam kerja saya, saya meninggalkan skrip yang saya gunakan: http://paste.desdelinux.net/4670

      Anda mengubahnya dengan mengambil kira jenis fail dan jalannya, iaitu bagaimana .HTML laman web anda dibuat dan itu.

      Ini bukan penyelesaian 100% kerana anda mesti membuat beberapa pengaturan atau perubahan tetapi, saya jamin bahawa ini adalah 70 atau 80% daripada semua kerja 😉

      1.    oswaldo kata

        Terima kasih KZKG ^ Gaara telah banyak membantu saya

  9.   Hutang kata

    Saya selalu menggunakan httrack. Buku skrap untuk firefox saya akan mencubanya, tetapi saya suka wget. Terima kasih!

  10.   Daniel PZ kata

    Man, perintah itu tidak berfungsi untuk saya ... yang ini berfungsi dengan baik untuk saya:

    wget –random-waiting -r -p -e robot = off -U mozilla http://www.example.com

    1.    Daniel kata

      Terima kasih banyak-banyak! Saya menggunakannya dengan parameter yang dicadangkan oleh Daniel PZ dan saya tidak menghadapi masalah 🙂

  11.   Ruben Almaguer kata

    Terima kasih, saya melakukannya dengan WGet pada anak anjing Linux saya tetapi saya tidak tahu bagaimana melakukannya di terminal ucapan

  12.   pistonudo kata

    di mana anda menyimpan halaman?

    1.    Kapak kata

      Tempat terminal dibuka. Pada mulanya, di folder root pengguna anda, kecuali anda menunjukkan jalan lain.

  13.   Fernando kata

    Muat turun pautan juga? Oleh itu, jika terdapat pautan ke pdf atau dokumen lain, adakah anda juga memuat turunnya?

  14.   raul kata

    Apa yang boleh saya lakukan untuk memuat turun seluruh blog saya, saya mencuba dan apa yang saya tidak nampak nampaknya dalam kod atau disekat, walaupun memerlukan banyak jam untuk memuat turun tetapi hanya halaman awal yang dapat dibaca, yang saya cadangkan untuk memuat turun blog saya, terima kasih raul.

  15.   leo kata

    halo, syak lagi mungkin untuk mengganti pautan dalam html, untuk kemudian dapat melihat halaman yang dimuat turun seolah-olah ia adalah yang asli.

    Apa yang berlaku ialah saya memuat turun halaman dan ketika membukanya dari fail yang dimuat turun, saya tidak mengambil .css atau .js dan pautan di halaman membawa saya ke halaman di Internet.