Baixe um site inteiro com wget mesmo se houver restrições

O que é wget?

Nada melhor que Wikipedia para explicar em que consiste esta ferramenta:

GNU Wget é uma ferramenta de software livre que permite o download de conteúdo de servidores web de forma simples. Seu nome deriva de World Wide Web (w), e de "get" (em inglês get), que significa: get from the WWW.

Atualmente ele suporta downloads usando os protocolos HTTP, HTTPS e FTP.

Entre os recursos mais destacados que oferece wget existe a possibilidade de download fácil de espelhos complexos recursivamente, conversão de links para exibir conteúdo HTML localmente, suporte para proxies ...

De wget Já conversamos bastante aqui no DesdeLinux. De fato ya Tínhamos visto como fazer o download de um site completo com wget, o problema é que hoje em dia os administradores nem sempre permitem que alguém baixe o site inteiro assim, não é algo que eles gostem muito ... e, obviamente, eu entendo. O site está na internet para consultá-lo, o leitor acessa conteúdos de seu interesse e o administrador do site se beneficia bem financeiramente (por meio de publicidade), como visitas, etc. Se o leitor baixar o site para seu computador, ele não terá que ficar online para consultar uma postagem anterior.

Baixar um site com wget é tão simples quanto:

wget -r -k http://www.sitio.com

• -r : Isso indica que todo o site será baixado.
• -k : Indica que os links do site baixado serão convertidos para serem vistos em computadores sem internet.

Agora, as coisas ficam complicadas quando o administrador do site dificulta para nós ...

Que restrições podem existir?

O mais comum que encontramos é que o acesso ao site só é permitido se você tiver um UserAgent reconhecido. Em outras palavras, o site reconhecerá que o UserAgent que está baixando tantas páginas não é um dos "normais" e, portanto, fechará o acesso.

Além disso, por meio do arquivo robots.txt, você pode especificar que wget (como um monte de aplicativos semelhantes) Você não poderá baixar como o cliente deseja, bem ... bem, o administrador do site deseja, ponto final 😀

Como contornar essas restrições?

Para o primeiro caso, vamos estabelecer um UserAgent para wget, podemos fazer isso com a opção -Agente de usuário, aqui eu mostro como:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k

Agora, para contornar o robots.txt, basta excluir esse arquivo, ou seja, deixe o wget baixar o site e não se preocupe com o que o robots.txt diz:

wget --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" -r http://www.site.com -k -e robots = off

Agora ... existem outras opções ou parâmetros que podemos usar para enganar ainda mais o site, por exemplo, indicar que entramos no site do Google, deixo aqui a linha final com tudo:

wget --header = "Aceitar: text / html" --user-agent = "Mozilla / 5.0 (X11; Linux amd64; rv: 32.0b4) Gecko / 20140804164216 ArchLinux KDE Firefox / 32.0b4" --referer = http: / /www.google.com -r http://www.site.com -e robots = off -k

Posso fazer isso?

Depende ... você sempre tem que ver dos dois pontos de vista, do administrador do site, mas também do leitor.

Por um lado, como administrador, não gostaria que tirassem uma cópia HTML do meu site desse jeito, está aqui online não por prazer, para o gozo de todos ... o nosso objetivo é ter conteúdos interessantes disponível, que você pode aprender.

Mas, por outro lado ... tem usuários que não têm internet em casa, que gostariam de ter toda a seção de tutoriais que colocamos aqui ... eu me coloco no lugar deles (na verdade estou, porque em casa não tenho internet) e não é agradável estar no computador, tendo um problema ou querendo fazer algo e não poder porque não tem acesso à rede.

Se está certo ou errado fica por conta de cada administrador, da realidade de cada um ... o que mais me preocuparia seria o consumo de recursos que o wget causa no servidor, mas com um bom sistema de cache deve ser suficiente para o servidor não Sofra.

Conclusão

Peço que não comece a baixar agora. DesdeLinux KKKKK!! Por exemplo, minha namorada me pediu para baixar alguns cheats do Geometry Dash (algo como Geometry Dash Cheats), não vou baixar o site inteiro, mas vou apenas abrir a página desejada e salvar em PDF ou HTML ou algo assim, isso é o que eu recomendaria a você.

Se você tiver algum tutorial DesdeLinux que você deseja salvar, salve em seus favoritos, como HTML ou PDF... mas, para um ou dois tutoriais não é necessário gerar tráfego e consumo excessivo no servidor 😉

Bem, nada, espero que seja útil ... Saudações