[gbuonanato]

Salve comunidade!!

Alguém poderia nos explicar o que é o tal "robots.txt, o porque de ser necessário de colocar no site, e como ele funciona????

Espero que ajudem!!!

[wr.chagas]

Salve colega

Pergunta: O que é um robots.txt?
Resposta: Esse arquivo robots.txt é o primeiro arquivo que um robô de pesquisa (do Google, Altavista, etc.) visita em um site. Sendo mais claro ainda: É um arquivo em texto simples em que estão contidas informações para esses robôs saberem se existe alguma restrição de acesso para eles ou se todos os arquivos e diretórios do site podem ser visitados, e todos os links percorridos para classificação das páginas. O arquivo também discrimina quais os robôs que podem ter acesso ao site.

Este arquivo deve ficar na pasta rais do site.

Montando um Robots.txt

Este arquivo-texto contém linhas como estas:

User-agent: *
Disallow: /cgi-bin/
Disallow: /conteudo/
Disallow: /donwloads/

No exemplo, os três diretórios acima serão excluídos dos robôs de busca, ou seja, seu conteúdo não será indexado.

No campo "User-agent", o símbolo "*" significa "qualquer robô", pode acessar o site. Para cada URL que você queira excluir você precisa colocar uma linha com "Disallow". Aqui, o conteúdo inteiro do diretório é excluído. Você não pode usar caracteres-coringa como "*" e criar URLs do tipo: "Disallow: /downloads/*.zip". Ainda, não se pode ter linhas em branco, pois elas são usadas para delimitar múltiplos registros.

A seguir, veremos alguns exemplos de configurações de arquivos "robots.txt":

1- Excluindo todos os robôs do servidor

User-agent: *
Disallow: /

2- Permitindo acesso a todos os robôs a todos os arquivos do site

User-agent: *
Disallow: (ou crie um arquivo "robots.txt" vazio)

3- Excluindo todos os robôs de determinadas áreas do servidor

User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /downlaods/
Disallow: /images/img50.gif
Disallow: /images/img25.gif

4- Excluindo um único robô de visitar o site

User-agent: BadBot
Disallow: /

5- Permitindo um único robô a visitar o seu site

User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /


Veja que este último exemplo só podera acessar o robo WebCrawler.


Espero ter te ajudado...

[gbuonanato]

Putz!!! Valeu!