הורד אתר שלם עם wget גם אם יש מגבלות

מה זה wget?

שום דבר יותר טוב ויקיפדיה להסביר ממה מורכב כלי זה:

GNU Wget הוא כלי תוכנה חינמי המאפשר הורדה של תוכן משרתי אינטרנט בצורה פשוטה. שמו נגזר מהאינטרנט העולמי (w), ומ- "get" (באנגלית get), פירוש הדבר: get from the WWW.

נכון לעכשיו הוא תומך בהורדות באמצעות פרוטוקולי HTTP, HTTPS ו- FTP.

בין התכונות הבולטות ביותר שהוא מציע wget יש אפשרות להורדה קלה של מראות מורכבות רקורסיבית, המרה של קישורים להצגת תוכן HTML באופן מקומי, תמיכה ב- proxies ...

De wget כבר דיברנו מספיק כאן ב DesdeLinux. למעשה ya ראינו איך מורידים אתר שלם עם wget, הבעיה היא שכיום מנהלי מערכת לא תמיד מאפשרים לאף אחד להוריד את כל האתר שלהם בדיוק ככה, זה לא משהו שהם באמת אוהבים ... וברור שאני מבין. האתר נמצא באינטרנט בכדי להתייעץ איתו, הקורא ניגש לתכנים מעניינים ומנהל האתר נהנה מבחינה כלכלית טובה (מפרסום), כגון ביקורים וכו '. אם הקורא מוריד את האתר למחשב שלו, הוא לא יצטרך להיכנס לאינטרנט כדי להתייעץ עם פוסט שעבר.

הורדת אתר עם wget היא פשוטה כמו:

wget -r -k http://www.sitio.com

• -r : זה מציין שהאתר כולו יורד.
• -k : זה מצביע על כך שהקישורים של האתר שהורד יומרו להצגה במחשבים ללא אינטרנט.

כעת העניינים מסתבכים כאשר מנהל האתר מקשה עלינו ...

אילו מגבלות עשויות להתקיים?

הנפוץ ביותר שנוכל למצוא הוא שהגישה לאתר מותרת רק אם יש לך UserAgent מוכר. במילים אחרות, האתר יכיר בכך ש- UserAgent שמוריד עמודים רבים כל כך אינו אחד ה"רגילים "ולכן יסגור גישה.

גם דרך קובץ robots.txt תוכלו לציין את ה- wget הזה (כמו עוד הרבה אפליקציות דומות) לא תוכל להוריד כרצונו של הלקוח, ובכן ... ובכן, מנהל האתר רוצה זאת, נקודה

כיצד לעקוף את המגבלות הללו?

במקרה הראשון אנו מקימים UserAgent ל- wget, אנו יכולים לעשות זאת באמצעות האפשרות -סוכן משתמש, כאן אני מראה לך איך:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

עכשיו, כדי לעקוף את robots.txt, פשוט אל תכלול את הקובץ הזה, כלומר תן ל- wget להוריד את האתר ולא אכפת לי מה אומר robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e רובוטים = כבוי

עכשיו ... ישנן אפשרויות אחרות או פרמטרים שבהם נוכל להשתמש כדי לרמות את האתר עוד יותר, למשל, לציין שאנחנו נכנסים לאתר מגוגל, כאן אני משאיר את השורה הסופית עם הכל:

wget --header = "קבל: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" - referer = http: / /www.google.com -r http://www.site.com -e רובוטים = off -k

האם זה בסדר לעשות זאת?

זה תלוי ... אתה תמיד צריך לראות את זה משתי נקודות המבט, ממנהל האתר אבל גם מהקורא.

מצד אחד, כמנהל, לא הייתי רוצה שהם לוקחים עותק HTML של האתר שלי בדיוק ככה, זה כאן באינטרנט לא להנאתנו, להנאת כולם ... המטרה שלנו היא שיהיה תוכן מעניין. זמין, שתוכלו ללמוד.

אבל, מצד שני ... יש משתמשים שאין להם אינטרנט בבית, שהיו רוצים לקבל את כל קטע ההדרכות שהכנסנו כאן ... שמתי את עצמי במקומם (למעשה אני כן, כי בבית אין לי אינטרנט) וזה לא נעים להיות במחשב, להיות עם בעיה או לרצות לעשות משהו ולא להיות מסוגל כי אין לך גישה לרשת הרשתות.

בין אם זה נכון או לא נכון תלוי בכל מנהל, המציאות של כל אחד ... מה שהכי מדאיג אותי יהיה צריכת המשאבים ש- wget גורמת בשרת, אבל עם מערכת מטמון טובה זה אמור להספיק לשרת לא. סובל.

מסקנות

אני מבקש ממך לא להתחיל להוריד עכשיו. DesdeLinux HA HA HA!! לדוגמה, חברה שלי ביקשה ממני להוריד כמה צ'יטים של Geometry Dash (משהו כמו Geometry Dash Cheats), אני לא אוריד את כל האתר, אבל אני פשוט אפתח את העמוד הרצוי ואשמור אותו ב-PDF או HTML או משהו כזה. מה הייתי ממליץ לך.

אם יש לך הדרכה כלשהי DesdeLinux שאתה רוצה לשמור, שמור אותו בסימניות שלך, כ-HTML או PDF... אבל, עבור מדריך אחד או שניים אין צורך לייצר תנועה וצריכה מוגזמת בשרת 😉

ובכן כלום, אני מקווה שזה שימושי ... ברכות