Como evitar que o Google indexe alguns diretórios ou arquivos do seu site - Robots.txt
Às vezes não é conveniente o Google indexar certos conteúdo do seu site, por exemplo:
- Diretórios com conteúdo restrito - www.seusite.com.br/documentos
- Determinados tipos de arquivos como PDF, PPT, etc.
A maneira correta de passar estas informações ao Google é através do ROBOTS.TXT que é um arquivo texto com as informações dos diretórios e arquivos que não devem ser indexados pelo Google.
Veja este tutorial completo da Mestre SEO sobre Robots.txt.
