Técnicas de SEO Robots.txt
Este post é longo, mas importante. Eu recomendo que você pegue uma xícara de chocolate quente antes de seu início 
Se você ainda não ouviu o arquivo robots.txt, é simplesmente um pequeno arquivo localizado no diretório raiz do site que instrui os motores de busca sobre o que pode eo que não pode fazer. Embora não seja estritamente cumprida, motor de busca robôs geralmente respeitar as regras estabelecidas para a frente no arquivo robots.txt. Com um arquivo robots.txt corretamente configurado, você pode, por exemplo, tentativa de defender-se contra spam bots, diga o Google não indexar suas imagens ou instruir bots para pular páginas que podem conter conteúdo duplicado.
Bots são pedaços de software usados por empresas de motores de busca, os spammers e acumuladores conteúdo para rastrear a Internet para encontrar conteúdo novo ou modificado. O trabalho de um bot é para seguir os links em um site de rastreamento de página para página e site para site. É como uma espécie de Six Degrees of Kevin Bacon coisa. Siga os links suficientes e você deve, eventualmente, encontrar todo o conteúdo na rede. É por isso que backlinks são tão importantes. Os backlinks mais você tem, mais fácil será para motores de busca para encontrar o seu conteúdo. Existem literalmente milhões de casos de bot arrasto da rede a qualquer momento. O prazo oficial para um bot é um agente de usuário de que há milhares de pessoas. Vamos levar o Google por exemplo. Google tem muitos diferentes agentes utilizados pelo usuário para o site indexar o seu, extrair imagens e vídeos, encontrar feeds de notícias, encontrar conteúdo para o celular, verificar o seu site para a qualidade do Adsense e assim por diante. Este local detalha uma lista completa de conhecidos usuário-agentes.
O arquivo robots.txt tem sido em torno de idades. Na verdade, foi introduzida pelo AltaVista , em 1994, mas agora continua a ser um alimento básico para aranhas. Para uma descrição completa do arquivo e sua notação padrão, visite aqui . Em suma, um arquivo robots.txt pode restringir bots específicas de indexação do seu site inteiro ou parte. Para fazer isso, todos os robôs tem uma assinatura especial. Por exemplo, bot do Google índice é chamado Googlebot, Bing bot é chamado MSNbot e Yahoo bot é chamado Slurp Yahoo!.
Uma entrada no arquivo robots.txt pode ser parecido com este:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Aqui nós estamos dizendo o agente de usuário Slurp que ele pode acessar todas as páginas localizadas em qualquer diretório começando com "público", e não tem acesso às páginas de "_print" na URI.
Abaixo está um arquivo robots.txt completa para um dos meus sítios experimentais WordPress (vou postar um artigo explicando o que quero dizer com site experimental outro dia). Leitores astutos podem notar que eu estou proibindo todos os agentes do usuário a partir de diretórios específicos, e apenas permitindo que alguns agentes de usuário específico acesso às restantes áreas do meu site. Uma atualização recente com a norma também me permite listar a localização do meu mapa do site para ajudar os motores de busca encontrar todas as minhas páginas.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Impedindo bots de acessar o conteúdo não destinados ao consumo vai garantir que seu site permanecerá palavra-chave otimizado em todas as páginas, contribuindo assim para promover o seu site nos mecanismos de pesquisa. Digamos, por exemplo, você tem trabalhado duro para a otimização de todas as páginas para o "ganho de peso" palavra-chave e as caudas vários longas. Seu trabalho pode ser filtrada nos olhos do motor de busca se ele foi capaz de rastrear sua página de login, a página de privacidade e formulário de contato.
Alguns especialistas em SEO também argumentam que o Google pune sites jovens em favor dos mais antigos sites mais estabelecidos. Google aparentemente usa a Internet Archive (encontrado aqui ) para determinar a idade de um site. Se não for possível encontrar o site no arquivo morto, aparentemente assume o site é de uma certa idade. Por esta razão, muitas pessoas ativamente parar o Internet Archive user-agent de indexar seu site. Isto pode ser feito por incluindo as seguintes linhas:
User-agent: ia_archiver-web.archive.org
Disallow: /
Você também pode querer parar de bots imagem de acessar as suas imagens se ter emprestado sem imagens de outros sites. Isto pode ser feito assim:
User-agent: Googlebot-Image
Allow: /
Finalmente, robots.txt pode ser usada para excluir bots de páginas específicas que podem ser utilizados para exibir o conteúdo que podem estar disponíveis em outros sites ou páginas. Costuma-se argumentar que o Google vai punir seus ratings para a exibição de conteúdo duplicado. Eu pessoalmente não vejo isso como um grande problema e acreditar que o conteúdo duplicado pode realmente ajudar a classificação do seu site em alguns casos (mais sobre isso outro dia). Enfim, para parar um bot de acessar uma página específica, adicione as seguintes linhas:
User-agent: *
Disallow: */my-duplicate-page.html
Note que este não é um método infalível. Se sua página tem permitido links para ele de outro site, ele ainda vai ser rastreado pelos robôs.
Eu poderia continuar, mas tenho certeza que todos vocês estão entediados até agora. Sinta-se livre para comentar abaixo ou entre em contato diretamente comigo se quiser saber mais.
Roboting feliz.
