Kısıtlamalar olsa bile sitenin tamamını wget ile indirin

Wget nedir?

Daha iyi bir şey Vikipedi Bu aracın nelerden oluştuğunu açıklamak için:

GNU Wget web sunucularından basit bir şekilde içerik indirmeye izin veren ücretsiz bir yazılım aracıdır. Adı World Wide Web'den (w) ve "get" (İngilizce'de olsun) kelimesinden türemiştir, bunun anlamı: WWW'den almak.

Şu anda HTTP, HTTPS ve FTP protokollerini kullanarak indirmeleri desteklemektedir.

Sunduğu en seçkin özellikler arasında wget karmaşık aynaların özyinelemeli olarak kolayca indirilmesi, bağlantıların HTML içeriğini yerel olarak görüntülemek için dönüştürülmesi, proxy'ler için destek ...

De wget Zaten yeterince konuştuk burada DesdeLinux. Aslında ya Wget ile eksiksiz bir web sitesini nasıl indireceğimizi görmüştük, sorun şu ki, günümüzde yöneticiler her zaman kimsenin web sitelerinin tamamını indirmesine izin vermiyor, bu onların gerçekten sevdikleri bir şey değil ... ve tabii ki anlıyorum. Site istişare için internette bulunur, okuyucu ilgilendiği içeriğe erişir ve site yöneticisi, ziyaretler vb. Gibi mali açıdan iyi (reklam yoluyla) fayda sağlar. Okuyucu siteyi bilgisayarına indirirse, geçmiş bir gönderiye başvurmak için çevrimiçi olmak zorunda kalmaz.

Wget ile bir siteyi indirmek şu kadar basit:

wget -r -k http://www.sitio.com

• -r : Bu, web sitesinin tamamının indirileceğini gösterir.
• -k : Bu, indirilen sitenin bağlantılarının internet olmayan bilgisayarlarda görünecek şekilde dönüştürüleceğini gösterir.

Şimdi, site yöneticisi işimizi zorlaştırdığında işler karmaşıklaşıyor ...

Ne tür kısıtlamalar olabilir?

Bulabildiğimiz en yaygın durum, siteye erişime yalnızca tanınan bir UserAgent'ınız varsa izin verilmesidir. Başka bir deyişle, site bu kadar çok sayfa indiren UserAgent'ın "normal" olanlardan biri olmadığını anlayacak ve bu nedenle erişimi kapatacaktır.

Ayrıca robots.txt dosyası aracılığıyla o wget'i (bir grup daha benzer uygulama gibi) İstemcinin istediği gibi indiremeyeceksiniz, peki ... peki, site yöneticisi istiyor, nokta 😀

Bu kısıtlamalar nasıl aşılır?

İlk durum için wget için bir UserAgent kuracağız, bunu seçeneği ile yapabiliriz -Kullanıcı-aracı, işte size nasıl olduğunu gösteriyorum:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Şimdi, robots.txt'de dolaşmak için, bu dosyayı hariç tutun, yani siteyi indirmeye wget'a izin verin ve robots.txt'nin ne dediği umurunuzda olmasın:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robotlar = kapalı

Şimdi ... siteyi daha da kandırmak için kullanabileceğimiz başka seçenekler veya parametreler var, örneğin, siteye Google'dan girdiğimizi belirtin, burada son satırı her şeyle bırakıyorum:

wget --header = "Kabul et: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robotlar = kapalı -k

Bunu yapmak doğru mu?

Bu duruma göre değişir ... her zaman hem site yöneticisinden hem de okuyucudan her iki açıdan da görmeniz gerekir.

Bir yandan, bir yönetici olarak, sitemin bir HTML kopyasını bu şekilde almalarını istemem, burada zevk için değil, herkesin keyif alması için çevrim içi ... amacımız ilginç içeriğe sahip olmak öğrenebilirsin.

Ama öte yandan ... evde interneti olmayan, buraya koyduğumuz Tutorials bölümünün tamamına sahip olmak isteyen kullanıcılar var ... Kendimi onların yerine koydum (aslında öyleyim çünkü evde internetim yok) ve bilgisayar başında olmak, bir problem yaşamak veya bir şeyler yapmak istemek ve ağa erişiminiz olmadığı için yapamamak hoş değildir.

Doğru ya da yanlış olması her yöneticiye bağlıdır, her birinin gerçekliği ... Beni en çok ilgilendiren şey wget'in sunucuda neden olduğu kaynak tüketimi olacaktır, ancak iyi bir önbellek sistemi ile sunucu için yeterli olmamalıdır. acı çekmek.

Sonuçlar

Şimdi indirmeye başlamamanızı rica ediyorum. DesdeLinux HA HA HA!! Örneğin, kız arkadaşım benden bazı Geometry Dash Hileleri (Geometry Dash Hileleri gibi bir şey) indirmemi istedi, web sitesinin tamamını indirmeyeceğim, ancak sadece istenen sayfayı açıp onu PDF veya HTML veya başka bir şey olarak kaydedeceğim. sana ne tavsiye ederim.

Herhangi bir eğitiminiz varsa DesdeLinux Kaydetmek istediğinizi yer imlerinize HTML veya PDF olarak kaydedin... ancak bir veya iki eğitim için sunucuda aşırı trafik ve tüketim oluşturmaya gerek yoktur 😉

Peki hiçbir şey, umarım yararlıdır ... Selamlar