O que é Robots.txt?
Um arquivo de texto na raiz de um site que instrui os rastreadores dos mecanismos de busca sobre quais páginas ou seções não devem ser rastreadas.
Entendendo Robots.txt
O arquivo robots.txt usa o Protocolo de Exclusão de Robôs para se comunicar com os rastreadores web. Ele pode especificar regras para todos os bots ou direcionar rastreadores específicos (como Googlebot ou Bingbot), e normalmente inclui uma referência ao seu sitemap XML. Importante entender: o robots.txt previne o rastreamento, não a indexação. Se outros sites linkam para uma página bloqueada pelo robots.txt, o Google ainda pode indexar a URL com base em sinais externos. Para prevenir a indexação, use tags meta noindex em seu lugar. Usos comuns incluem bloquear áreas administrativas, caminhos de conteúdo duplicado e seções com uso intensivo de recursos que desperdiçam orçamento de crawl. O gerador gratuito de robots.txt do Keyword Kick ajuda você a criar arquivos formatados corretamente com configurações de melhores práticas.
Por que é importante
Um robots.txt mal configurado pode bloquear acidentalmente o rastreamento das suas páginas mais importantes pelos motores de busca ou desperdiçar o crawl budget ao permitir o acesso a seções de baixo valor do seu site.
Como o Keyword Kick ajuda
O Keyword Kick oferece um gerador de robots.txt gratuito que cria arquivos formatados corretamente seguindo as melhores práticas, e nossa auditoria de site valida seu robots.txt existente em busca de erros, contradições e bloqueios não intencionais.
Termos relacionados
Orçamento de Crawl
O número de páginas que um mecanismo de busca irá rastrear no seu site dentro de um determinado período.
Noindex
Uma diretiva que indica aos mecanismos de busca para não incluir uma página específica no índice de resultados de busca.
Sitemap
Um arquivo XML que lista todas as páginas importantes do seu site, ajudando os mecanismos de busca a descobrir e rastrear seu conteúdo.
Perguntas frequentes
O robots.txt pode impedir que uma página apareça nos resultados de busca?
Não de forma confiável. O robots.txt bloqueia o rastreamento, mas se links externos apontarem para uma página bloqueada, o Google ainda pode indexar a URL usando o texto âncora desses links. Para impedir a indexação de fato, use uma tag meta noindex e permita o rastreamento para que a diretriz possa ser lida.
Todos os motores de busca respeitam o robots.txt?
Os principais motores de busca como Google, Bing e Yahoo respeitam as diretrizes do robots.txt. No entanto, bots maliciosos e scrapers geralmente o ignoram. O robots.txt é um protocolo baseado em cooperação, não uma medida de segurança — nunca o utilize para proteger conteúdo sensível.
Domine Robots.txt com o Keyword Kick
Obtenha insights acionáveis e automatize seu fluxo de trabalho SEO.
Comece grátis