Muitos sites tem a parte administrativa ou pastas que não devem ser indexadas por segurança.É possível bloquear o acesso dos robôs de pesquisa a certas pastas de um modo bem simples.
Abra o bloco de notas ou qualquer outro editor de texto do seu computador e insira as seguintes linhas:
User-agent = *
Disallow:
User-agent é o robô do motor de busca, levam o nome do motor de busca:
- googlebot – Google;
- msnbot – Bing;
- Entre outros.
O ideal é que seja colocado o asterisco (*) para que o robots.txt sirva para todos os robôs.
Disallow é a linha para bloquear uma url ou pasta de seu site. No primeiro exemplo, nenhuma pasta está sendo bloqueada.
User-agent: *
Disallow:
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /chat
Disallow: /comunidade
Disallow: /divulgue
Disallow: /kkk
Disallow: /pasta1
Disallow: /wp-content-old
Disallow: /wp-content_old2Sitemap: http://www.turmatech.com/sitemap.xml
No exemplo acima foram bloqueadas diversas pastas do site e informado para o robô o endereço do sitemap. Depois de inseridas as linhas no arquivo,salve como robots.txt e envie para a pasta de publicação do seu domínio (geralmente a www ou public_html).
É possível gerar um arquivo robots.txt facilmente pelo Google ferramentas para webmasters.
Veja também:
- Redirecionar o Feed do WordPress para o FeedBurner
- Mapeando seu site com sitemap
- Os últimos serão os primeiros
- A insustentável leveza do seu blog
- Quem mexeu no meu blog?
 |
|
