RSS Feeds by Pedro Paulo

Nas diretivas para webmasters do Google consta que sites não devem manter páginas diferentes com conteúdos duplicados, ou em caso de necessidade devem impedir o Googlebot de rastreá-las através do arquivo robots.txt, sob risco de penalização. Teoricamente isto também vale para feeds publicados pelo site, ainda mais se forem completos, pois caracterizariam o tal conteúdo duplicado.

Caso esteja preocupado com isto talvez queira adicionar estas linhas abaixo ao seu robots.txt e ficar de consciência tranqüila. (Código para sites rodando Wordpress, caso você use outro CMS busque na documentação quais são os links para os feeds). Caso tenha muitos feeds pode utilizar as “correspondências por padrão” para diminuir o número de linhas.

User-agent: Googlebot
Disallow: /wp-rss.php
Disallow: /wp-rss2.php
Disallow: /wp-rdf.php
Disallow: /wp-atom.php
Disallow: /?feed=*
Disallow: /index.php?feed=*
Disallow: /feed
Disallow: /feed/*


E fique sossegado quanto aos seus leitores do Google Reader e da Página Personalizada do Google, o FeedFetcher (O bot do Google para feeds) foi desenhado para não obedecer ao robots.txt, uma vez que ele só rastreia páginas que foram requisitados expressamente pelo usuário.

Esta ação, contudo, não é algo de extrema urgência, uma vez que 99% dos sites que fornecem feeds RSS não incluem tais linhas no seu robots.txt mas previnir-se nunca é demais.

Fonte: google.dirson.com