باستخدام المحطة: قم بتنزيل موقع ويب كامل باستخدام Wget

لا شيء أفضل من ويكيبيديا لشرح ما تتكون منه هذه الأداة:

جنو هي أداة برمجية مجانية تسمح بتنزيل المحتوى من خوادم الويب بطريقة بسيطة. اسمها مشتق من شبكة الويب العالمية (w) ، ومن "get" (باللغة الإنجليزية get) ، وهذا يعني: الحصول على من WWW.

يدعم حاليًا التنزيلات باستخدام بروتوكولات HTTP و HTTPS و FTP.

من بين أبرز الميزات التي يقدمها مجلد مشترك هناك إمكانية التنزيل السهل للمرايا المعقدة بشكل متكرر ، وتحويل الروابط لعرض محتوى HTML محليًا ، ودعم البروكسيات ...

صحيح أن هناك تطبيقات أخرى تساعدنا في تنفيذ هذا النوع من العمل مثل httrack أو حتى ملحقات برنامج فايرفوكس كما قصاصات الصحف، ولكن لا شيء مثل بساطة المحطة terminal

فعل السحر

كنت أشعر بالفضول حيال الفيلم: والشبكة الاجتماعية، كشخصية مارك_زوكربيرج استخدم العبارة: «قليلا من السحر«، عندما كنت على وشك تنزيل الصور لـ Facemash وهذا صحيح ، مجلد مشترك يسمح لك بعمل السحر باستخدام المعلمات المناسبة.

دعنا نلقي نظرة على بعض الأمثلة ، لنبدأ بالاستخدام البسيط للأداة.

للذهاب إلى أسفل الصفحة:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

لتنزيل الموقع بالكامل بشكل متكرر ، بما في ذلك الصور وأنواع البيانات الأخرى:

$ wget -r https://blog.desdelinux.net/

وهنا يأتي السحر. كما يشرحون لنا في مقال البشر، تتحقق العديد من المواقع من هوية المتصفح لتطبيق قيود مختلفة. مع wget يمكننا التحايل على هذا بالطريقة التالية:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

أو يمكننا أيضًا التوقف مؤقتًا بين كل صفحة ، وإلا فقد يدرك مالك الموقع أننا نقوم بتنزيل الموقع بالكامل wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


اترك تعليقك

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها ب *

*

*

  1. المسؤول عن البيانات: ميغيل أنخيل جاتون
  2. الغرض من البيانات: التحكم في الرسائل الاقتحامية ، وإدارة التعليقات.
  3. الشرعية: موافقتك
  4. توصيل البيانات: لن يتم إرسال البيانات إلى أطراف ثالثة إلا بموجب التزام قانوني.
  5. تخزين البيانات: قاعدة البيانات التي تستضيفها شركة Occentus Networks (الاتحاد الأوروبي)
  6. الحقوق: يمكنك في أي وقت تقييد معلوماتك واستعادتها وحذفها.

  1.   بانديف 92 قال

    هل هناك شيء لتحميل الصور xd فقط؟

    1.    الشجاعة: قال

      http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=vicio

      لقد قرأت للتو عقلك هاهاهاها

      1.    بانديف 92 قال

        لول س س د

    2.    KZKG ^ جارا قال

      الرجل wget ؟؟؟؟

      1.    بانديف 92 قال

        الحياة قصيرة جدا لقراءة الرجل.

        1.    KZKG ^ جارا قال

          الحياة أقصر من أن تملأ الدماغ بالمعلومات ، لكن المحاولة لا تزال صالحة 🙂

          1.    بانديف 92 قال

            المعلومات تساوي النصف ، أفضل ملؤها بالنساء والألعاب والمال إن أمكن XD.

          2.    الشجاعة: قال

            أنت تفكر دائمًا في النساء. من الآن فصاعدًا ، ستستمع إلى Dadee Yankee و Don Omar و Wisin Y Yandel مثلما يفعل KZKG ^ Gaara.

            كرّس نفسك أفضل للمال ، وهو أهم شيء في هذه الحياة

            1.    KZKG ^ جارا قال

              هناك أشياء تستحق أكثر بكثير من المال ... على سبيل المثال ، التواجد في التاريخ ، وإحداث فرق ، والتذكر عن مقدار ما تمكنت من المساهمة به في العالم ؛ وليس كم من المال كان عندك عند موتك 😉

              حاول ألا تصبح رجلاً ناجحًا بل رجل شجاع ، ألبرت عينسين.


          3.    الشجاعة: قال

            وهل يمكن للمتسول الذي يعيش تحت الجسر أن يفعل ذلك بدون فلس واحد؟

            حسننا، لا

          4.    الشجاعة: قال

            *امتلاك

          5.    بانديف 92 قال

            الشجاعة ، لقد مررت بعصر الريجايتون ولم يعد ذلك جيدًا ، كان ذلك قبل سنوات ، أستمع فقط إلى الموسيقى اليابانية والموسيقى الكلاسيكية ، وبالمال ... نحن نعمل على ذلك :).

          6.    بانديف 92 قال

            لا يهمني أن أتذكر ، يا جارا ، عندما أموت ، سأموت وأفسد الآخرين ، لأنني لن أتمكن حتى من معرفة ما يفكرون به عني. ما الذي يستحق أن نتذكره ولكن يمكنك أن تفخر به xD.

    3.    الهراء قال

      لتنزيل نوع معين من الملفات ، يمكنك استخدام عوامل التصفية:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      وتلميحًا ، إذا كنت ستقوم باستنساخ صفحة كبيرة جدًا ، فمن المستحسن أن تقوم بذلك من خلال وكيل مثل tor ، لأنه بخلاف ذلك هناك صفحات معينة وصلت إلى عدد معين من الطلبات على التوالي ، مما يؤدي إلى حظر عنوان IP الخاص بك لعدة ساعات أو أيام .
      المرة الأخرى التي حدثت لي عندما أردت استنساخ ويكي.

    4.    مدير قال

      الامتداد الذي أستخدمه في Firefox يقوم بتنزيل الصور فقط ؛ يسمى "حفظ الصور 0.94"

  2.   أسمر قال

    إيه سؤال هو أين الملفات التي أنزلها محفوظة؟ سوف يريدون قتلي ، أليس كذلك؟ هههه

    1.    KZKG ^ جارا قال

      يتم تنزيل الملفات إلى المجلد الذي توجد فيه في الجهاز عند تنفيذ wget 😉

  3.   أوروش قال

    آه ، لم أتخيل أن wget يمكن أن يكون له مثل هذا الاستخدام المثير للاهتمام ... الآن ، فيما يتعلق بالاستخدام الذي تذكره الشجاعة ... لا توجد كلمات 😉

  4.   كارلوس إكسفس قال

    هل يعرف أي شخص ما إذا كان هناك مكون إضافي لبرنامج WordPress يمنع Wget من تنزيل مدونتك؟

  5.   دارزي قال

    حسنًا ، هذا رائع بالنسبة لي !! شكرا

  6.   بيولافسكي قال

    جيد جدًا ، دعونا نحاول أن نرى كيف ، شكرًا على المساهمة.

  7.   com.lyairmg قال

    على الرغم من أنني أعتبر نفسي مبتدئًا ، إلا أنه من السهل بالنسبة لي الآن سأحاول مزجها مع أشياء أخرى وأرى ما الذي تقدمه ...

  8.   اوزوالدو قال

    آمل أن تتمكن من مساعدتي لأنه يوم الإثنين 3 كانون الأول (ديسمبر) 2012

    المشروع المراد تطويره هو كالتالي:

    نقل موقع ويب عن طريق تعديل مراجع href.
    1. -بالنظر إلى موقع ويب ، قم بتنزيل الموقع الكامل إلى دليل محلي باستخدام الأمر wget. وبواسطة سيناريو من تأليفك ، قم بتنفيذ العمليات التالية:

    1.1.-إنشاء دليل مستقل لكل نوع من أنواع المحتوى: صور gif ، صور jpeg ، إلخ ، مقاطع فيديو avi ، مقاطع فيديو mpg ، إلخ ، صوت mp3 ، صوت wav ، إلخ ، محتوى الويب (HTML ، javascript ، إلخ).

    1.2.-بمجرد نقل كل من هذه المحتويات ، قم بتعديل المراجع إلى المواقع المحلية لكل مورد على الموقع.

    1.3.-تنشيط خادم الويب ، وتكوين الدليل الجذر حيث توجد النسخة الاحتياطية لموقع الويب كدليل جذر لخادم الويب المحلي.

    1.4.-ملاحظة: يمكن استخدام الأمر wget فقط مع الخيارات التالية:
    -العودية
    - المجالات
    - متطلبات الصفحة
    إذا كانت هناك حاجة لمزيد من الأوامر لسبب ما ، فاستخدم الأوامر الضرورية.

    1.    KZKG ^ جارا قال

      للتنزيل هنا ، أعتقد أن لديك الحل في المنشور ، الآن ... لنقل الملفات واستبدال المسارات ، كان علي أن أفعل شيئًا كهذا منذ فترة في عملي ، أترك لك البرنامج النصي الذي استخدمته: http://paste.desdelinux.net/4670

      يمكنك تعديله مع الأخذ في الاعتبار نوع الملف والمسار ، أي كيفية تكوين .HTMLs لموقعك وما إلى ذلك.

      ليس هذا هو الحل بنسبة 100٪ لأنه لا بد من إجراء بعض الترتيبات أو التغييرات ولكن أضمن لك أنها 70 أو 80٪ من كل العمل

      1.    اوزوالدو قال

        شكرًا KZKG ^ لقد كان Gaara عونًا كبيرًا لي

  9.   ديب قال

    لطالما استخدمت HTTrack. سجل قصاصات لمتصفح فايرفوكس سأجربه ، لكني أحب wget. شكرا!

  10.   دانيال بي زد قال

    يا رجل ، الأمر لم يعمل معي ... لقد عمل هذا الأمر جيدًا بالنسبة لي:

    wget –random-wait -r -p -e الروبوتات = off -U mozilla http://www.example.com

    1.    دانيال قال

      شكرا جزيلا! لقد استخدمتها مع المعلمات التي اقترحها Daniel PZ ولم أواجه أي مشاكل 🙂

  11.   روبن الماجور قال

    شكرًا يا فتى ، لقد فعلت ذلك باستخدام WGet على جرو Linux الخاص بي ، لكنني لم أكن أعرف كيف أفعل ذلك في الجهاز. تحيه

  12.   مكبس قال

    اين تحفظ الصفحات

    1.    فأس قال

      حيث لديك المحطة مفتوحة. في البداية ، في المجلد الجذر للمستخدم ، ما لم تحدد مسارًا آخر.

  13.   فرناندو قال

    أيضا تحميل الروابط؟ لذا إذا كان هناك رابط إلى ملف pdf أو مستند آخر ، فهل تقوم بتنزيله أيضًا؟

  14.   راؤول قال

    ما الذي يمكنني فعله لتنزيل مدونتي بالكامل ، لقد حاولت وما لا يمكنني رؤيته يبدو أنه في أكواد أو محظور ، على الرغم من استغراق عدة ساعات للتنزيل ولكن يمكن قراءة الصفحة الأولية فقط ، والتي يوصى بتنزيلها مدونتي شكرا راؤول.

  15.   الأسد قال

    مرحبًا ، شك في أنه من الممكن استبدال الروابط الموجودة في html ، لتتمكن لاحقًا من تصفح الصفحة التي تم تنزيلها كما لو كانت الأصلية.

    ما يحدث هو أنني قمت بتنزيل الصفحة وعندما فتحتها من الملفات التي تم تنزيلها لم آخذ ملفات .css أو .js وقادتني الروابط الموجودة على الصفحة إلى الصفحة على الإنترنت.