Muat turun keseluruhan laman web dengan wget walaupun terdapat sekatan

Apa itu wget?

Tidak ada yang lebih baik daripada Wikipedia untuk menerangkan apa yang terdiri daripada alat ini:

GNU Wget adalah alat perisian percuma yang membolehkan memuat turun kandungan dari pelayan web dengan cara yang mudah. Namanya berasal dari World Wide Web (w), dan dari "get" (dalam bahasa Inggeris get), ini bermaksud: dapatkan dari WWW.

Pada masa ini ia menyokong muat turun menggunakan protokol HTTP, HTTPS dan FTP.

Antara ciri paling hebat yang ditawarkannya wget ada kemungkinan memuat turun cermin kompleks secara berulang, penukaran pautan untuk memaparkan kandungan HTML secara tempatan, sokongan untuk proksi ...

De wget Kita sudah cukup bercakap di sini DesdeLinux. Sebenarnya ya Kami telah melihat cara memuat turun laman web lengkap dengan wget, masalahnya ialah sekarang ini pentadbir tidak selalu membenarkan sesiapa memuat turun keseluruhan laman web mereka begitu sahaja, itu bukan sesuatu yang sangat mereka sukai ... dan, jelas saya faham. Laman web ini ada di internet untuk menelitinya, pembaca mengakses kandungan yang menarik dan pentadbir laman web mendapat manfaat dari segi kewangan (melalui pengiklanan), seperti lawatan, dll. Sekiranya pembaca memuat turun laman web ke komputer mereka, mereka tidak perlu masuk ke dalam talian untuk meninjau catatan yang lalu.

Untuk memuat turun laman web dengan wget semudah:

wget -r -k http://www.sitio.com

• -r : Ini menunjukkan bahawa keseluruhan laman web akan dimuat turun.
• -k : Ini menunjukkan bahawa pautan laman web yang dimuat turun akan ditukar untuk dapat melihatnya di komputer tanpa internet.

Sekarang, keadaan menjadi rumit apabila pentadbir laman web menyukarkan kita ...

Apa sekatan yang mungkin ada?

Yang paling umum yang kami dapati adalah bahawa akses ke laman web hanya dibenarkan jika anda mempunyai UserAgent yang dikenali. Dengan kata lain, laman web ini akan menyedari bahawa UserAgent yang memuat turun begitu banyak halaman bukanlah salah satu yang "normal" dan oleh itu akan menutup akses.

Juga melalui fail robots.txt anda boleh menentukan wget itu (seperti banyak aplikasi yang serupa) Anda tidak akan dapat memuat turun mengikut kehendak pelanggan, baik ... baik, pentadbir laman web menginginkannya, tempoh 😀

Bagaimana cara mengelakkan sekatan ini?

Untuk kes pertama, kami akan menetapkan UserAgent untuk membuat wget, kami dapat melakukan ini dengan pilihan - Ejen Pengguna, di sini saya menunjukkan kepada anda bagaimana:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Sekarang, untuk mengelilingi robots.txt, kecualikan fail itu, iaitu, biarkan memuat turun laman web dan tidak peduli apa yang dikatakan oleh robots.txt:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robot = mati

Sekarang ... ada pilihan atau parameter lain yang boleh kita gunakan untuk menipu laman web lebih banyak lagi, misalnya, menunjukkan bahawa kita memasuki laman web dari Google, di sini saya meninggalkan baris terakhir dengan semuanya:

wget --header = "Terima: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robot = off -k

Adakah baik untuk melakukan ini?

Itu bergantung ... anda mesti melihatnya dari kedua-dua sudut pandangan, dari pentadbir laman web tetapi juga dari pembaca.

Di satu pihak, sebagai pentadbir, saya tidak mahu mereka mengambil salinan HTML dari laman web saya begitu sahaja, di sini dalam talian bukan untuk keseronokan, untuk kesenangan semua ... tujuan kami adalah untuk menyediakan kandungan menarik, yang boleh anda pelajari.

Tetapi, di sisi lain ... ada pengguna yang tidak mempunyai internet di rumah, yang ingin mempunyai keseluruhan bahagian Tutorial yang telah kami letakkan di sini ... Saya meletakkan diri saya di tempat mereka (sebenarnya saya, kerana di rumah saya tidak mempunyai internet) dan tidak menyenangkan berada di komputer, menghadapi masalah atau ingin melakukan sesuatu dan tidak dapat melakukannya kerana anda tidak mempunyai akses ke rangkaian rangkaian.

Sama ada betul atau salah terserah kepada setiap pentadbir, realiti masing-masing ... apa yang paling membimbangkan saya ialah penggunaan sumber yang menyebabkan masalah pada pelayan, tetapi dengan sistem cache yang baik semestinya cukup untuk pelayan tidak menderita.

Kesimpulan

Saya meminta anda untuk tidak mula memuat turun sekarang. DesdeLinux HA HA HA!! Sebagai contoh, teman wanita saya meminta saya memuat turun beberapa penipuan Geometry Dash (sesuatu seperti Geometry Dash Cheats), saya tidak akan memuat turun keseluruhan laman web, tetapi saya hanya akan membuka halaman yang dikehendaki dan menyimpannya dalam PDF atau HTML atau sesuatu, yang Ini adalah apa yang saya cadangkan kepada anda.

Jika anda mempunyai sebarang tutorial DesdeLinux yang anda ingin simpan, simpan dalam penanda halaman anda, sebagai HTML atau PDF... tetapi, untuk satu atau dua tutorial tidak perlu menjana trafik dan penggunaan yang berlebihan pada pelayan 😉

Tidak apa-apa, saya harap ia berguna ... Salam