ターミナルを使用する場合:Wgetを使用して完全なWebサイトをダウンロードします

何よりも良い Wikipedia このツールの構成を説明するには:

GNU Wget は、簡単な方法でWebサーバーからコンテンツをダウンロードできる無料のソフトウェアツールです。 その名前はWorldWide Web(w)に由来し、「get」(英語ではget)に由来します。つまり、WWWから取得します。

現在、HTTP、HTTPS、およびFTPプロトコルを使用したダウンロードをサポートしています。

それが提供する最も優れた機能の中で wgetの 複雑なミラーを簡単に再帰的にダウンロードしたり、リンクを変換してHTMLコンテンツをローカルに表示したり、プロキシをサポートしたりする可能性があります...

この種の作業を実行するのに役立つ他のアプリケーションがあることは事実です。 httrack またはの拡張機能 Firefoxの として スクラップブック、しかし端末のシンプルさのようなものはありません😀

魔法をかける

私は映画に興味がありました: 社会的ネットワーク、のキャラクターとして マーク・ザッカーバーグ 次のフレーズを使用します。 «ちょっとした魔法のwget«、Facemashの写真をダウンロードしようとしたとき😀そしてそれは本当です、 wgetの 適切なパラメータで魔法をかけることができます。

いくつかの例を見てみましょう。ツールの簡単な使用法から始めましょう。

ページを下に移動するには:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

画像やその他の種類のデータを含め、サイト全体を再帰的にダウンロードするには:

$ wget -r https://blog.desdelinux.net/

そして、ここに魔法がやってくる。 彼らがの記事で私たちを説明しているように 人間、多くのサイトは、さまざまな制限を適用するためにブラウザのIDを確認します。 と wget これは次の方法で回避できます。

wget  -r -p -U Mozilla https://blog.desdelinux.net/

または、各ページ間で一時停止することもできます。そうしないと、サイトの所有者は、サイトを完全にダウンロードしていることに気付く可能性があります。 wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


コメントを残す

あなたのメールアドレスが公開されることはありません。 必須フィールドには付いています *

*

*

  1. データの責任者:MiguelÁngelGatón
  2. データの目的:SPAMの制御、コメント管理。
  3. 正当化:あなたの同意
  4. データの伝達:法的義務がある場合を除き、データが第三者に伝達されることはありません。
  5. データストレージ:Occentus Networks(EU)がホストするデータベース
  6. 権利:いつでも情報を制限、回復、削除できます。

  1.   パンデブ92

    画像xdのみをダウンロードするものはありますか?

    1.    勇気

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      私があなたの心を読んだことははははは

      1.    パンデブ92

        笑ooxd

    2.    KZKG ^我愛羅

      男wget 😉

      1.    パンデブ92

        人生は人を読むには短すぎる。

        1.    KZKG ^我愛羅

          人生は短すぎて脳を情報で満たすことができませんが、それでも試してみるのは有効です🙂

          1.    パンデブ92

            情報は半分の価値があります、私はそれを女性、ゲーム、そして可能であればXDで満たすことを好みます。

          2.    勇気

            あなたはいつも女性のことを考えてクソです。 これからは、KZKG ^ Gaaraのように、Dadee Yankee、Don Omar、Wisin YYandelを聴きます。

            この人生で最も重要なことであるお金にもっと専念する

            1.    KZKG ^我愛羅

              お金よりもはるかに価値のあるものがあります...たとえば、歴史の中にいること、違いを生むこと、あなたが世界にどれだけ貢献したかを覚えていること。 死んだときにどれだけのお金を持っていたのかではありません😉

              成功する人ではなく、勇気ある人、アルバート・アインセインになるようにしてください。


          3.    勇気

            そして、橋の下に住む乞食は、ペニーなしでそれを行うことができますか?

            うーん、ダメ

          4.    勇気

            *持つため

          5.    パンデブ92

            勇気を出して、私はレガエトンの時代を迎えましたが、もう何年も前のことではありません。私は日本の音楽とクラシック音楽しか聴いていません。お金を使って…私たちはそれに取り組んでいます:)。

          6.    パンデブ92

            覚えておいても構わない、ガラ、私が死ぬとき、私は死んで他の人を台無しにするだろう、なぜなら彼らが私のことをどう思っているかさえ知ることができないからだ。 覚えておく価値はありますが、xDを誇りに思うことができます。

    3.    hypersayan_x

      特定の種類のファイルをダウンロードするには、フィルターを使用できます。

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      また、非常に大きなページのクローンを作成する場合は、torなどのプロキシを使用してクローンを作成することをお勧めします。そうしないと、特定のページが特定の数の連続したリクエストに到達し、IPが数時間または数日間ブロックされるためです。 。
      ウィキを複製したかったときに私に起こった別の時。

    4.    mdir

      Firefoxで使用している拡張機能は、画像のみをダウンロードします。 「画像を保存0.94」と呼ばれます

  2.   ブラウン

    ダウンロードしたファイルはどこに保存されていますか? 彼らは私を殺したいと思うでしょう? 笑

    1.    KZKG ^我愛羅

      ファイルは、wgetを実行するときに、ターミナルにあるフォルダーにダウンロードされます😉

  3.   アウロスZx

    ああ、wgetがこんなに面白い用途になるとは想像もしていませんでした...さて、Courageが言及している用途に関して...言葉はありません😉

  4.   カルロス-Xfce

    Wgetがあなたのブログをダウンロードするのを妨げるWordPressプラグインがあるかどうか誰かが知っていますか?

  5.   ダージー

    まあ、それは私にとって素晴らしいです! ありがとうございました

  6.   ピオラフスキー

    とても良いです、貢献に感謝して、どのように見てみましょう。

  7.   ライアーム

    私は自分自身を初心者だと思っていますが、これは私にとって簡単です。今は他のものと混ぜて、それが何をもたらすかを見ていきます…。

  8.   オズワルド

    3年2012月XNUMX日(月)ですので、よろしくお願いします

    開発するプロジェクトは次のとおりです。

    href参照を調整することによるWebサイトの再配置。
    1.-Webサイトを検討している場合は、wgetコマンドを使用してサイト全体をローカルディレクトリにダウンロードします。 また、作成者のスクリプトを使用して、次の操作を実行します。

    1.1.-コンテンツの種類ごとに独立したディレクトリを作成します:gif画像、jpeg画像など、aviビデオ、mpgビデオなど、mp3オーディオ、wavオーディオなど、Webコンテンツ(HTML、javascriptなど)。

    1.2.-これらの各コンテンツが再配置されたら、サイト上の各リソースのローカルロケーションへの参照の調整を実行します。

    1.3.-Webサーバーをアクティブ化し、Webサイトのバックアップが配置されているルートディレクトリをローカルWebサーバーのルートディレクトリとして構成します。

    1.4.-注:wgetコマンドは、次のオプションでのみ使用できます。
    –再帰的
    –ドメイン
    –ページの必要条件
    何らかの理由でさらにコマンドが必要な場合は、必要なコマンドを使用してください。

    1.    KZKG ^我愛羅

      ここにダウンロードするには、投稿に解決策があると思います。ファイルを移動してパスを置き換えるには、しばらく前にこのようなことをしなければなりませんでした。使用したスクリプトはそのままにしておきます。 http://paste.desdelinux.net/4670

      ファイルのタイプとパス、つまり、サイトの.HTMLがどのように構成されているかなどを考慮して変更します。

      いくつかの調整や変更を行う必要があるため、これは100%の解決策ではありませんが、すべての作業の70%または80%であることを保証します😉

      1.    オズワルド

        ありがとうKZKG ^ Gaaraは私にとって大きな助けになりました

  9.   デブド

    私はいつもhttrackを使ってきました。 firefoxのスクラップブック試してみるつもりですが、wgetが大好きです。 ありがとうございました!

  10.   ダニエルPZ

    男、コマンドは私のために機能しませんでした...これは私のためにうまく機能しました:

    wget –random-wait -r -p -e robots = off -U mozilla http://www.example.com

    1.    Daniel Mölk

      どうもありがとう! Daniel PZが提案したパラメーターで使用しましたが、問題はありませんでした🙂

  11.   ルーベン・アルマゲール

    ありがとう、私はLinuxの子犬のWGetでそれをしましたが、ターミナルでそれを行う方法がわかりませんでした。 挨拶

  12.   ピストンド

    ページはどこに保管しますか?

    1.   

      ターミナルを開いている場所。 別のパスを指定しない限り、最初はユーザールートフォルダーにあります。

  13.   フェルナンド

    リンクもダウンロードしますか? それで、pdfまたは別のドキュメントへのリンクがある場合、それもダウンロードしますか?

  14.  

    ブログ全体をダウンロードするにはどうすればよいですか。試してみましたが、ダウンロードに何時間もかかったにもかかわらず、コードに表示されたりブロックされたりしているようですが、最初のページしか読み取れません。ダウンロードすることをお勧めします。私のブログ、ありがとうラウル。

  15.   レオ

    こんにちは、html内のリンクを置き換えて、後でダウンロードしたページを元のページであるかのように閲覧できるようにすることが可能かどうかは疑問です。

    ページをダウンロードし、ダウンロードしたファイルからページを開いたときに、.cssまたは.jsを取得しなかったため、ページ上のリンクからインターネット上のページに移動しました。