Ver Indice Geral da Apostila de Shell Script

Wget

O wget é um programa que baixa arquivos pela internet.
Seu comando mais simples é:

wget http://www.endereco.com.br/arquivo_a_ser_baixado

Algumas opções para o Wget:
--output-document=novo_nome_arquivo	Salva o arquivo baixado como novo_nome_arquivo
--referer="http://www.site.com.br"	Envia a referência de que estava no site "www.site.com.br"
--user-agent=	Envia a informação de qual navegador está baixando o arquivo

Alguns sites tem um tipo de "proteção" que evita que "robôs" baixem conteudo automaticamente.
Mas muitas vezes usamos precisamos baixar uma página com o Wget e não conseguimos baixar essas páginas por causa da proteção.
Por isso existem as opções "--referer" e "--user-agent" no wget.

Alguns sites criam uma proteção que só permite que você baixe certos conteudos se você já estiver em certa parte do site.
Para isso usamos --referer="http://www.site.com.br/pastaX/"
isso faz o wget enviar a informação de que o arquivo a ser baixado está sendo acessado da pasta "pastaX" do site "www.site.com.br"

Outro sites só permitem que seu conteúdo seja baixado por um navegador.
Nesse caso usamos --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
isso faz o wget dizer ao site "Olha eu sou o Navegador Mozilla, pode mandar o conteúdo para mim"

O comando usado para essas opções seria:

wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" --referer="http://www.site.com.br" http://www.site.com.br/endereco/arquivo_a_ser_baixado

Nota: 8

Ver Indice Geral da Apostila de Shell Script