प्रतिबंध होने पर भी पूरी साइट को wget के साथ डाउनलोड करें

Wget क्या है?

इससे बेहतर कुछ भी नहीं विकिपीडिया यह समझाने के लिए कि इस उपकरण में क्या है:

जीएनयू Wget एक मुफ्त सॉफ्टवेयर टूल है जो वेब सर्वर से सामग्री को सरल तरीके से डाउनलोड करने की अनुमति देता है। इसका नाम वर्ल्ड वाइड वेब (डब्ल्यू), और "गेट" (अंग्रेजी में मिलता है) से निकला है, इसका मतलब है: डब्ल्यूडब्ल्यूडब्ल्यू से प्राप्त करें।

वर्तमान में यह HTTP, HTTPS और FTP प्रोटोकॉल का उपयोग कर डाउनलोड का समर्थन करता है।

सबसे उत्कृष्ट सुविधाओं में यह प्रदान करता है wget जटिल दर्पणों के पुन: डाउनलोड करने की संभावना है, स्थानीय स्तर पर HTML सामग्री प्रदर्शित करने के लिए लिंक का रूपांतरण, प्रॉक्सी के लिए समर्थन ...

De wget हम यहां पहले ही काफी चर्चा कर चुके हैं DesdeLinux। असल में ya हमने देखा था कि कैसे एक पूरी वेबसाइट को wget के साथ डाउनलोड किया जाता है, समस्या यह है कि आजकल के प्रशासक हमेशा किसी को अपनी पूरी वेबसाइट को वैसे ही डाउनलोड करने की अनुमति नहीं देते हैं, यह ऐसा कुछ नहीं है जो वे वास्तव में पसंद करते हैं ... और, जाहिर है मैं समझता हूं। इंटरनेट पर साइट यह परामर्श करने के लिए है, पाठक ब्याज की सामग्री का उपयोग करता है और साइट व्यवस्थापक को आर्थिक रूप से अच्छी तरह से लाभान्वित किया जाता है (विज्ञापन द्वारा), जैसा कि यात्राओं में, आदि। यदि पाठक साइट को अपने कंप्यूटर पर डाउनलोड करते हैं, तो उन्हें पिछले पोस्ट से परामर्श करने के लिए ऑनलाइन नहीं जाना होगा।

Wget वाली साइट को डाउनलोड करना उतना ही सरल है:

wget -r -k http://www.sitio.com

• -r : यह इंगित करता है कि पूरी वेबसाइट डाउनलोड हो जाएगी।
• -k : यह इंगित करता है कि डाउनलोड की गई साइट के लिंक बिना इंटरनेट के कंप्यूटर पर देखे जा सकेंगे।

अब, चीजें जटिल हो जाती हैं जब साइट प्रशासक हमारे लिए मुश्किल बनाता है ...

क्या प्रतिबंध हो सकता है?

सबसे आम जो हम पा सकते हैं, वह यह है कि साइट तक पहुंच केवल तभी दी जाती है यदि आपके पास कोई उपयोगकर्ता-मान्यता प्राप्त उपयोगकर्ता है। दूसरे शब्दों में, साइट यह पहचान लेगी कि इतने सारे पेजों को डाउनलोड करने वाला यूजरएजेंट "सामान्य" लोगों में से एक नहीं है और वह भी करीब पहुंच जाएगा।

इसके अलावा robots.txt फ़ाइल के माध्यम से आप निर्दिष्ट कर सकते हैं कि wget (एक गुच्छा अधिक समान क्षुधा की तरह) आप ग्राहक की इच्छानुसार डाउनलोड नहीं कर पाएंगे, ठीक है ... ठीक है, साइट व्यवस्थापक इसे चाहता है, अवधि able

इन प्रतिबंधों को कैसे दरकिनार किया जाए?

पहली स्थिति के लिए हम एक यूजरएगेट को स्थापित करने के लिए करेंगे, हम विकल्प के साथ ऐसा कर सकते हैं -उपभोक्ता अभिकर्ता, यहाँ मैं आपको दिखाता हूँ:

wget --user-Agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) गेको / 20140804164216 ArchLinux KDE फ़ायरफ़ॉक्स / 32.0b4" -r -site.com -k

अब, robots.txt के आस-पास जाने के लिए, बस उस फ़ाइल को बाहर करें, अर्थात, साइट को डाउनलोड करने दें और ध्यान रखें कि robots.txt क्या है:

wget --user-agent = "मोज़िला / 5.0 (X11; Linux amd64; rv: 32.0b4) गेको / 20140804164216 ArchLinux KDE फ़ायरफ़ॉक्स / 32.0b4" -r -sr.com.com -k -e रोबोट = बंद

अब ... ऐसे अन्य विकल्प या पैरामीटर हैं जिनका उपयोग हम साइट को और भी अधिक धोखा देने के लिए कर सकते हैं, उदाहरण के लिए, इंगित करें कि हम Google से साइट में प्रवेश करते हैं, यहां मैं सब कुछ के साथ अंतिम पंक्ति छोड़ता हूं:

wget --header = "Accept: text / html" --user-agent = "मोज़िला / 5.0 (XSD) (amd11; rv: 64b32.0) गेको / 4 ArchLinux -DE फ़ायरफ़ॉक्स / 20140804164216b32.0" --referer = http: / /www.google.com -r http://www.site.com -e रोबोट = ऑफ -क

क्या ऐसा करना ठीक है?

यह निर्भर करता है ... आपको इसे हमेशा साइट व्यवस्थापक से, लेकिन पाठक से दोनों ही दृष्टिकोणों से देखना होगा।

एक तरफ, एक प्रशासक के रूप में, मैं यह नहीं चाहूंगा कि वे मेरी साइट की एक HTML प्रति ठीक उसी तरह ले रहे हैं, यह यहाँ ऑनलाइन है आनंद के लिए नहीं, सभी के आनंद के लिए ... हमारा लक्ष्य दिलचस्प सामग्री रखना है आपके लिए उपलब्ध है, जो आप सीख सकते हैं।

लेकिन, दूसरी तरफ ... ऐसे उपयोगकर्ता हैं जिनके पास घर पर इंटरनेट नहीं है, जो हमारे द्वारा डाले गए संपूर्ण ट्यूटोरियल अनुभाग को पसंद करेंगे ... मैंने खुद को उनके स्थान पर रखा (वास्तव में मैं हूं, क्योंकि घर पर मेरे पास इंटरनेट नहीं है) और यह कंप्यूटर पर होना, समस्या होने या कुछ करने की इच्छा न होना और आपके नेटवर्क के नेटवर्क तक पहुंच नहीं होने के कारण सक्षम नहीं होना सुखद नहीं है।

चाहे वह सही हो या गलत, प्रत्येक व्यवस्थापक पर निर्भर है, हर एक की वास्तविकता ... मुझे सबसे ज्यादा चिंता इस बात की होगी कि सर्वर पर किस कारण से संसाधनों की खपत होती है, लेकिन एक अच्छी कैश प्रणाली के साथ यह पर्याप्त होना चाहिए सर्वर को नुकसान नहीं होता है।

निष्कर्ष

मैं आपसे अनुरोध करता हूं कि अभी डाउनलोड करना शुरू न करें। DesdeLinux हा हा हा!! उदाहरण के लिए, मेरी प्रेमिका ने मुझसे कुछ ज्योमेट्री डैश चीट्स (कुछ-कुछ ज्योमेट्री डैश चीट्स जैसा) डाउनलोड करने के लिए कहा, मैं पूरी वेबसाइट डाउनलोड नहीं करूंगा, लेकिन मैं बस वांछित पेज खोलूंगा और इसे पीडीएफ या HTML या कुछ और में सेव करूंगा, वह है मैं आपको क्या सिफ़ारिश करूंगा.

यदि आपके पास कोई ट्यूटोरियल है DesdeLinux जिसे आप सहेजना चाहते हैं, उसे अपने बुकमार्क में HTML या PDF के रूप में सहेजें... लेकिन, एक या दो ट्यूटोरियल के लिए सर्वर पर अत्यधिक ट्रैफ़िक और खपत उत्पन्न करना आवश्यक नहीं है 😉

खैर कुछ नहीं, मुझे आशा है कि यह उपयोगी है ... अभिवादन