Terminal ile: Wget ile eksiksiz bir web sitesi indirin

Daha iyi bir şey Vikipedi Bu aracın nelerden oluştuğunu açıklamak için:

GNU Wget web sunucularından basit bir şekilde içerik indirmeye izin veren ücretsiz bir yazılım aracıdır. Adı World Wide Web'den (w) ve "get" (İngilizce'de olsun) kelimesinden türemiştir, bunun anlamı: WWW'den almak.

Şu anda HTTP, HTTPS ve FTP protokollerini kullanarak indirmeleri desteklemektedir.

Sunduğu en seçkin özellikler arasında wget karmaşık aynaların özyinelemeli olarak kolayca indirilmesi, bağlantıların HTML içeriğini yerel olarak görüntülemek için dönüştürülmesi, proxy'ler için destek ...

Bu tür işleri yapmamıza yardımcı olan başka uygulamalar olduğu doğrudur. httrack hatta uzantılar Firefox olarak karalama Defteri, ama bir terminalin basitliği gibisi yoktur

Sihir yapmak

Filmi merak ettim: Sosyal Ağkarakteri olarak Mark Zuckerberg şu ifadeyi kullanın: «Biraz sihirli wget«, Facemash için fotoğrafları indirmek üzereyken 😀 ve bu doğru, wget uygun parametrelerle sihir yapmanıza izin verir.

Birkaç örneğe bakalım, aracın basit kullanımıyla başlayalım.

Bir sayfaya gitmek için:

$ wget https://blog.desdelinux.net/con-el-terminal-bajar-un-sitio-web-completo-con-wget

Görüntüler ve diğer veri türleri dahil olmak üzere sitenin tamamını yinelemeli olarak indirmek için:

$ wget -r https://blog.desdelinux.net/

Ve işte sihir geliyor. Makalesinde de açıklandığı gibi İnsan, birçok site çeşitli kısıtlamalar uygulamak için tarayıcının kimliğini doğrular. İle wget bunu şu şekilde aşabiliriz:

wget  -r -p -U Mozilla https://blog.desdelinux.net/

Ya da her sayfa arasında duraklayabiliriz, aksi takdirde site sahibi siteyi tamamen indirdiğimizi fark edebilir. wget.

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://blog.desdelinux.net/


Yorumunuzu bırakın

E-posta hesabınız yayınlanmayacak. Gerekli alanlar ile işaretlenmiştir *

*

*

  1. Verilerden sorumlu: Miguel Ángel Gatón
  2. Verilerin amacı: Kontrol SPAM, yorum yönetimi.
  3. Meşruiyet: Onayınız
  4. Verilerin iletilmesi: Veriler, yasal zorunluluk dışında üçüncü kişilere iletilmeyecektir.
  5. Veri depolama: Occentus Networks (AB) tarafından barındırılan veritabanı
  6. Haklar: Bilgilerinizi istediğiniz zaman sınırlayabilir, kurtarabilir ve silebilirsiniz.

  1.   pandev92 dijo

    Sadece xd resimlerini indirecek bir şey var mı?

    1.    cesaret dijo
      1.    pandev92 dijo

        lol oo xd

    2.    KZKG ^ Gaara dijo

      adam wget 😉

      1.    pandev92 dijo

        Hayat, insan okumak için çok kısa.

        1.    KZKG ^ Gaara dijo

          Hayat beyni bilgi ile doldurmak için çok kısa ama denemek yine de geçerli 🙂

          1.    pandev92 dijo

            Bilginin yarısı değerinde, mümkünse XD'yi kadınlarla, oyunlarla ve parayla doldurmayı tercih ederim.

          2.    cesaret dijo

            Her zaman kadınları düşünüyorsun. Bundan böyle Dadee Yankee, Don Omar ve Wisin Y Yandel'i KZKG ^ Gaara gibi dinleyeceksiniz.

            Kendinizi paraya daha iyi adayın, bu hayattaki en önemli şey

            1.    KZKG ^ Gaara dijo

              Paradan çok daha değerli şeyler var ... örneğin, tarihte olmak, fark yaratmak, dünyaya ne kadar katkıda bulunmayı başardığınızı hatırlamak; ve öldüğünde ne kadar paran olduğu için değil 😉

              Başarılı bir adam değil cesur bir adam olmaya çalışın Albert Einsein.


          3.    cesaret dijo

            Ve bir köprünün altında yaşayan bir dilenci bunu bir kuruş olmadan yapabilir mi?

            Hayır

          4.    cesaret dijo

            *sahip olmak

          5.    pandev92 dijo

            Cesaret, benim reggaeton dönemim vardı ve artık yok, yani yıllar önceydi, sadece Japon müziği ve klasik müzik dinliyordum ve parayla… üzerinde çalışıyoruz :).

          6.    pandev92 dijo

            Hatırlanmayı umursamıyorum, gara, öldüğümde ölecek ve diğerlerini becereceğim, çünkü onların benim hakkımda ne düşündüklerini bile bilemeyeceğim. Ne hatırlanmaya değer ama bununla gurur duyabilirsiniz xD.

    3.    hypersayan_x dijo

      Belirli türde dosyaları indirmek için filtreleri kullanabilirsiniz:

      https://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html

      Ve bir ipucu, çok büyük bir sayfayı klonlayacaksanız, bunu tor gibi bir proxy aracılığıyla yapmanız tavsiye edilir, çünkü aksi takdirde belirli sayıda ardışık isteğe ulaşan ve IP'nizi birkaç kez engelleyen belirli sayfalar vardır. saatler veya günler.
      Bir wiki'yi klonlamak istediğimde bana olan diğer zaman.

    4.    mdir dijo

      Firefox'ta kullandığım bir uzantı yalnızca görüntüleri indirir; buna "Resimleri Kaydetme 0.94" denir

  2.   Pardo dijo

    eh bir soru hehe indirdiğim dosyalar nereye kaydedildi? Beni öldürmek isteyecekler, değil mi? LOL

    1.    KZKG ^ Gaara dijo

      Wget get komutunu çalıştırırken dosyalar terminalde bulunduğunuz klasöre indirilir.

  3.   auroszx dijo

    Ahh, wget'in bu kadar ilginç bir kullanımı olabileceğini düşünmemiştim ... Şimdi, Courage'ın bahsettiği kullanıma gelince ... Söz yok 😉

  4.   Carlos Xfce dijo

    Wget'in blogunuzu indirmesini engelleyen bir WordPress eklentisi olup olmadığını bilen var mı?

  5.   Darzee dijo

    Benim için harika !! teşekkür ederim

  6.   Piolavski dijo

    Çok güzel, nasıl olduğunu görmeye çalışalım, katkılarınız için teşekkürler.

  7.   lyairmg dijo

    Kendimi yeni başlayan biri olarak görmeme rağmen, şimdi bunu başka şeylerle karıştırmaya ve ne verdiğini görmeye çalışacağım….

  8.   Oswaldo dijo

    Umarım bana yardım edebilirsin çünkü 3 Aralık 2012 Pazartesi için

    Geliştirilecek proje şu şekildedir:

    Href referanslarını ayarlayarak bir web sitesinin yeniden konumlandırılması.
    1.-Bir Web sitesini göz önünde bulundurarak, sitenin tamamını wget komutunu kullanarak yerel bir dizine indirin. Ve yazarlığınızın bir senaryosu aracılığıyla aşağıdaki işlemleri yapın:

    1.1.-Her içerik türü için bağımsız bir dizin oluşturun: gif resimleri, jpeg resimleri, vb., Avi videoları, mpg videoları, vb., Mp3 ses, wav sesi, vb., Web içeriği (HTML, javascript, vb.).

    1.2.-Bu içeriklerin her biri yeniden yerleştirildikten sonra, sitedeki her kaynağın yerel konumlarına yönelik referansların ayarlamasını gerçekleştirin.

    1.3.-Bir Web sunucusunu etkinleştirin ve Web sitesi yedeklemesinin bulunduğu kök dizini yerel Web sunucusunun kök dizini olarak yapılandırın.

    1.4.-Not: wget komutu yalnızca aşağıdaki seçeneklerle kullanılabilir:
    - Özyinelemeli
    –Alanlar
    –Sayfa gereksinimleri
    Herhangi bir nedenle daha fazla komut gerekirse, gerekli olanları kullanın.

    1.    KZKG ^ Gaara dijo

      Buradan indirmek için postada çözümünüz olduğunu düşünüyorum, şimdi ... dosyaları taşımak ve yolları değiştirmek için, bir süre önce işimde böyle bir şey yapmak zorunda kaldım, size kullandığım komut dosyasını bırakıyorum: http://paste.desdelinux.net/4670

      Dosyanın türünü ve yolunu, yani sitenizin .HTML'lerinin nasıl oluşturulduğunu ve bunu dikkate alarak değiştirirsiniz.

      Bu% 100 çözüm değil çünkü bazı düzenlemeler veya değişiklikler yapmanız gerekiyor, ancak bunun tüm işin% 70 veya 80'i olduğunu garanti ederim 😉

      1.    Oswaldo dijo

        Teşekkürler KZKG ^ Gaara bana çok yardımcı oldu

  9.   borç dijo

    Her zaman httrack kullandım. Firefox için not defteri Deneyeceğim, ama wget'i seviyorum. Teşekkür ederim!

  10.   Daniel PZ dijo

    Dostum, komut benim için işe yaramadı ... bu benim için iyi çalıştı:

    wget -random-bekle -r -p -e robotlar = -U mozilla kapalı http://www.example.com

    1.    Daniel dijo

      Çok teşekkürler! Daniel PZ tarafından önerilen parametrelerle kullandım ve hiç sorun yaşamadım 🙂

  11.   Ruben Almaguer dijo

    Teşekkürler oğlum, bunu Linux köpeğimde WGet ile yaptım ama terminalde nasıl yapacağımı bilmiyordum. kutlama

  12.   Pistonudo dijo

    sayfaları nerede saklıyorsun?

    1.    Balta dijo

      Terminalin açık olduğu yer. İlk başta, başka bir yol belirtmediğiniz sürece kullanıcı kök klasörünüzde.

  13.   fernando dijo

    Bağlantılar da indirilsin mi? Peki, bir pdf veya başka bir belgeye bağlantı varsa, onu da indiriyor musunuz?

  14.   nehir dijo

    Tüm blogumu indirmek için ne yapabilirim? Denedim ve göremediğim şeyler, indirmek saatler sürmesine rağmen kodlarda veya engellenmiş gibi görünüyor, ancak indirmeyi önerdiğim yalnızca ilk sayfa okunabiliyor blogum, teşekkürler raul.

  15.   Aslan burcu dijo

    merhaba, şüphesiz html içindeki linkleri değiştirmek, daha sonra indirilen sayfaya orijinalmiş gibi göz atmak mümkündür.

    Olan şey şu ki, sayfayı indiriyorum ve indirilen dosyalardan açtığımda .css veya .js almadım ve sayfadaki bağlantılar beni İnternet'teki sayfaya götürüyor.