Ferramenta gratuita: SEO

Verificador de robots.txt

Buscamos o seu robots.txt e o lemos como os rastreadores fazem, seguindo o RFC 9309. Veja se o Googlebot pode rastrear a página que você digitou, se o site inteiro está bloqueado, quais rastreadores de IA as suas regras permitem e quais sitemaps o arquivo lista.

Grátis. Verifica o endereço que você digitar em cerca de 20 segundos.

O que esta ferramenta verifica

  • O arquivo e o status dele

    Solicitamos o /robots.txt da origem do endereço que você digitar (mesmo esquema, host e porta) e mostramos o status HTTP e o arquivo como ele é servido.

  • Grupos aplicados como um rastreador faz

    As regras são agrupadas por User-agent. Um rastreador segue o grupo que o nomeia e só usa o grupo * quando nenhum grupo o nomeia; ele não mistura os dois.

  • A correspondência mais longa vence

    Dentro de um grupo, decide a regra Allow ou Disallow com o caminho correspondente mais longo, e o Allow vence em caso de empate. O * corresponde a qualquer sequência de caracteres e o $ marca o fim da URL.

  • Sua página e o Googlebot

    Se o Googlebot pode rastrear a URL exata que você digitou, segundo as regras que se aplicam a ele.

  • Bloqueios do site inteiro

    Se todos os rastreadores são instruídos a ficar fora do site inteiro.

  • Rastreadores de IA

    Se as suas regras bloqueiam ou permitem GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent.

  • Linhas Sitemap

    Cada linha Sitemap: do arquivo, para você confirmar que os rastreadores estão sendo direcionados para o sitemap certo.

O que ela não consegue verificar

  • Impor qualquer coisa. O robots.txt é um pedido que rastreadores bem-comportados seguem e outros ignoram. Para manter um conteúdo privado, coloque-o atrás de um login.
  • Dizer se uma página está indexada. Uma URL bloqueada ainda pode aparecer na busca se outras páginas tiverem links para ela.
  • Mostrar quais rastreadores realmente visitam seu site nem com que frequência. Os logs do seu servidor têm essa informação.
  • Ler os arquivos de outros hosts, como um subdomínio ou uma CDN. Cada host tem o seu próprio robots.txt.
  • Cobrir todos os rastreadores. A lista inclui rastreadores de IA muito usados, e novos tokens de user-agent surgem com frequência.

Por que isso importa

O robots.txt é o primeiro arquivo que a maioria dos rastreadores solicita, e uma única linha pode mudar como o site inteiro é rastreado. Um “Disallow: /” sob “User-agent: *”, esquecido desde o desenvolvimento, impede os mecanismos de busca de rastrear qualquer coisa. Uma regra pensada para uma pasta, como “Disallow: /p”, também bloqueia /products e /pricing, porque as regras correspondem ao início do caminho.

Hoje o arquivo também tem uma segunda função: dizer às empresas de IA quais conteúdos elas podem coletar. Os tokens variam conforme a finalidade. A OpenAI documenta o GPTBot para coletar dados de treinamento e o OAI-SearchBot para encontrar páginas a exibir na busca do ChatGPT. O Google-Extended controla se o Google pode usar seu conteúdo nos modelos Gemini, sem mudar a forma como a Pesquisa Google rastreia. Bloquear um token não bloqueia os outros, então confira cada um de acordo com a sua intenção.

O código de status importa tanto quanto o conteúdo. Um arquivo ausente (404) é inofensivo: os rastreadores entendem isso como permissão para rastrear tudo. Um erro de servidor é diferente. A documentação do Google diz que, quando o robots.txt retorna um erro 5xx, o Google para de rastrear o site nas primeiras 12 horas e depois usa a última cópia que conseguiu ler por até 30 dias.

Como interpretar os resultados

HTTP 200
O arquivo foi encontrado, e as regras exibidas são as que os rastreadores aplicam.
HTTP 404 ou outro 4xx
Não existe robots.txt, então os rastreadores podem rastrear tudo. Isso é normal para muitos sites, desde que nada precise ficar de fora.
HTTP 5xx
O servidor não conseguiu entregar o arquivo. O Google pausa o rastreamento enquanto isso durar, então corrija o erro do servidor primeiro.
Googlebot: permitido ou bloqueado (allowed or blocked)
Se o Googlebot pode buscar a URL que você digitou, pelo grupo próprio dele se o arquivo tiver um, ou então pelo grupo *.
Site inteiro bloqueado
Todos os rastreadores são instruídos a não rastrear nenhum caminho. Esperado em um site de homologação; quase sempre um erro em um site no ar.
Rastreadores de IA: bloqueados ou permitidos (blocked or allowed)
O que as suas regras dizem para cada token. Permitido inclui não ter nenhuma regra para aquele rastreador.
Sitemaps listados
As URLs de sitemap do arquivo. Cada uma deve ser uma URL completa que retorne um sitemap XML funcionando.

Como corrigir os problemas mais comuns

  • O site inteiro está bloqueado

    Remova “Disallow: /” do grupo “User-agent: *” ou deixe a linha Disallow vazia para permitir tudo. Se a sua plataforma gera o arquivo, confira as configurações de visibilidade nos mecanismos de busca e qualquer template de robots.txt; no Shopify, é o robots.txt.liquid no código do tema.

  • Uma regra bloqueia mais do que deveria

    As regras correspondem ao início do caminho. Termine as regras de pasta com uma barra (Disallow: /private/) e use $ para corresponder a um final exato (Disallow: /*.pdf$). Depois verifique de novo as URLs que importam para você.

  • O Googlebot ignora suas regras do grupo *

    Quando o arquivo tem um grupo “User-agent: Googlebot”, o Googlebot segue apenas esse grupo. Copie para esse grupo todas as regras que você quer que o Googlebot continue respeitando.

  • Ficar fora do treinamento de IA sem sair da busca

    Adicione um grupo para cada rastreador de treinamento, por exemplo “User-agent: GPTBot” seguido de “Disallow: /”, e faça o mesmo para ClaudeBot, CCBot, Google-Extended e Applebot-Extended. Não mexa no Googlebot nem no Bingbot. Decida separadamente sobre OAI-SearchBot, Claude-SearchBot e PerplexityBot, que ajudam suas páginas a aparecer nas respostas de busca desses serviços.

  • Usar o robots.txt para remover páginas do Google

    O Disallow impede o rastreamento, não a indexação. Para manter uma página fora da busca, permita o rastreamento e adicione <meta name="robots" content="noindex">, ou retorne 404 ou 410 se a página não existir mais. A ferramenta Remoções do Search Console oculta uma URL temporariamente em casos urgentes.

Perguntas sobre esta ferramenta

O robots.txt impede que empresas de IA usem meu conteúdo?

Só no caso dos rastreadores que escolhem segui-lo, e só a partir do próximo rastreamento. Ele não remove o conteúdo que foi coletado antes de você adicionar a regra.

Bloquear o Google-Extended tira meu site da Pesquisa Google?

Não. O Google diz que o Google-Extended não afeta a inclusão nem a classificação na Pesquisa Google. Ele só controla se o Google pode usar seu conteúdo nos modelos Gemini; o Googlebot continua rastreando como antes.

Não ter robots.txt é um problema?

Não. Se o /robots.txt retorna 404, os rastreadores entendem que podem rastrear tudo. Adicione um quando precisar manter os rastreadores fora de áreas como os resultados da busca interna, ou para indicar o seu sitemap.

Posso esconder páginas privadas com o robots.txt?

Não. O arquivo é público, então listar caminhos privados nele acaba divulgando esses caminhos. Proteja as páginas privadas com login e use noindex nas páginas públicas que devem ficar fora da busca.

Quanto tempo o Google leva para perceber uma mudança?

O Google geralmente guarda o robots.txt em cache por até 24 horas, então uma mudança pode levar cerca de um dia para valer. O relatório de robots.txt do Search Console mostra a versão que o Google buscou por último.

Fontes

Ferramentas relacionadas

O Relatório de SEO ($69, pagamento único) parte da análise gratuita completa e acrescenta mais páginas, a mudança a fazer para cada achado, um PDF e novos testes para verificar suas correções.

Sobre o Relatório de SEO