قم بتنزيل موقع كامل باستخدام wget حتى إذا كانت هناك قيود

ما هو wget؟

لا شيء أفضل من ويكيبيديا لشرح ما تتكون منه هذه الأداة:

جنو هي أداة برمجية مجانية تسمح بتنزيل المحتوى من خوادم الويب بطريقة بسيطة. اسمها مشتق من شبكة الويب العالمية (w) ، ومن "get" (باللغة الإنجليزية get) ، وهذا يعني: الحصول على من WWW.

يدعم حاليًا التنزيلات باستخدام بروتوكولات HTTP و HTTPS و FTP.

من بين أبرز الميزات التي يقدمها مجلد مشترك هناك إمكانية التنزيل السهل للمرايا المعقدة بشكل متكرر ، وتحويل الروابط لعرض محتوى HTML محليًا ، ودعم البروكسيات ...

De مجلد مشترك لقد تحدثنا بالفعل بما فيه الكفاية هنا في DesdeLinux. في الحقيقة ya لقد رأينا كيفية تنزيل موقع ويب كامل باستخدام wget ، والمشكلة هي أن المسؤولين في الوقت الحاضر لا يسمحون دائمًا لأي شخص بتنزيل موقعه بالكامل على هذا النحو ، فهو ليس شيئًا يحبه حقًا ... ومن الواضح أنني أفهم. الموقع موجود على الإنترنت للتشاور معه ، ويصل القارئ إلى المحتوى الذي يثير الاهتمام ويستفيد مدير الموقع جيدًا اقتصاديًا (عن طريق الإعلان) ، كما في الزيارات ، إلخ. إذا قام القارئ بتنزيل الموقع على جهاز الكمبيوتر الخاص به ، فلن يضطر إلى الاتصال بالإنترنت للرجوع إلى منشور سابق.

يعد تنزيل موقع باستخدام wget أمرًا بسيطًا مثل:

wget -r -k http://www.sitio.com

• -r : يشير هذا إلى أنه سيتم تنزيل موقع الويب بالكامل.
• -k : يشير هذا إلى أنه سيتم تحويل روابط الموقع الذي تم تنزيله ليتم عرضها على أجهزة كمبيوتر بدون إنترنت.

الآن ، تتعقد الأمور عندما يجعل مدير الموقع الأمر صعبًا علينا ...

ما هي القيود التي قد توجد؟

أكثر الأشياء شيوعًا التي يمكن أن نجدها هي أن الوصول إلى الموقع مسموح به فقط إذا كان لديك UserAgent معترف به. بمعنى آخر ، سيتعرف الموقع على أن UserAgent الذي يقوم بتنزيل العديد من الصفحات ليس من الصفحات "العادية" وبالتالي سيغلق الوصول.

أيضًا من خلال ملف robots.txt ، يمكنك تحديد هذا wget (مثل مجموعة من التطبيقات المشابهة) لن تتمكن من التنزيل كما يشاء العميل ، حسنًا ... حسنًا ، مدير الموقع يريده ، فترة period

كيف يتم التحايل على هذه القيود؟

في الحالة الأولى ، سننشئ UserAgent على wget ، يمكننا القيام بذلك باستخدام الخيار -وكيل المستخدم، هنا أريكم كيف:

wget --user-agent = "Mozilla / 5.0 (X11؛ Linux amd64؛ rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

الآن ، للالتفاف حول ملف robots.txt ، ما عليك سوى استبعاد هذا الملف ، أي السماح لـ wget بتنزيل الموقع ولا تهتم بما يقوله robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11؛ Linux amd64؛ rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

الآن ... هناك خيارات أو معلمات أخرى يمكننا استخدامها لمزيد من خداع الموقع ، على سبيل المثال ، الإشارة إلى أننا ندخل الموقع من Google ، وهنا أترك السطر الأخير بكل شيء:

wget --header = "Accept: text / html" --user-agent = "Mozilla / 5.0 (X11؛ Linux amd64؛ rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" - المرجع = http: / /www.google.com -r http://www.site.com -e robots = off -k

هل هو موافق للقيام بذلك؟

هذا يعتمد ... عليك دائمًا رؤيته من كلا وجهتي النظر ، من مسؤول الموقع ولكن أيضًا من القارئ.

من ناحية ، بصفتي مشرفًا ، لا أحب أن يأخذوا نسخة HTML من موقعي تمامًا مثل هذا ، فهو موجود هنا عبر الإنترنت ليس من أجل المتعة ، من أجل الاستمتاع بالجميع ... هدفنا هو توفير محتوى مثير للاهتمام لك ، يمكنك تعلمه.

ولكن ، من ناحية أخرى ... هناك مستخدمون ليس لديهم إنترنت في المنزل ، والذين يرغبون في الحصول على قسم البرامج التعليمية بالكامل الذي وضعناه هنا ... أضع نفسي في مكانهم (في الحقيقة أنا كذلك ، لأنه في المنزل ليس لدي إنترنت) وليس من الجيد أن تكون على الكمبيوتر أو تواجه مشكلة أو ترغب في القيام بشيء ما ولا تكون قادرًا على ذلك لأنه لا يمكنك الوصول إلى شبكة الشبكات.

سواء كان ذلك صحيحًا أم خطأ ، فإن الأمر متروك لكل مسؤول ، وواقع كل واحد ... أكثر ما يقلقني هو استهلاك الموارد الذي يسببه wget على الخادم ، ولكن مع نظام ذاكرة تخزين مؤقت جيد ، يجب أن يكون ذلك كافيًا لـ الخادم لا يعاني.

استنتاجات

أطلب منك عدم البدء في التنزيل الآن. DesdeLinux ها ها ها ها!! على سبيل المثال، طلبت مني صديقتي تنزيل بعض غش Geometry Dash (شيء مثل Geometry Dash Cheats)، ولن أقوم بتنزيل موقع الويب بأكمله، ولكن سأفتح الصفحة المطلوبة فقط وأحفظها بصيغة PDF أو HTML أو شيء من هذا القبيل، هذا هو ما أود أن أوصي لك.

إذا كان لديك أي البرنامج التعليمي DesdeLinux الذي تريد حفظه، احفظه في إشاراتك المرجعية، بتنسيق HTML أو PDF... ولكن بالنسبة لبرنامج تعليمي واحد أو اثنين، ليس من الضروري توليد حركة مرور واستهلاك زائدين على الخادم 😉

حسنًا ، لا شيء ، أتمنى أن يكون مفيدًا ... تحياتي