Herramienta gratis · SEO

Verificador de robots.txt

Obtenemos tu robots.txt y lo leemos como lo hacen los rastreadores, según el RFC 9309. Ve si Googlebot puede rastrear la página que ingresaste, si todo el sitio está bloqueado, qué rastreadores de IA permiten tus reglas y qué sitemaps indica el archivo.

Gratis. Revisa la dirección que ingresas en unos 20 segundos.

Qué revisa esta herramienta

  • El archivo y su estado

    Solicitamos /robots.txt al origen de la dirección que ingresas (el mismo esquema, host y puerto) y mostramos el estado HTTP y el archivo tal como se sirve.

  • Grupos interpretados como lo hace un rastreador

    Las reglas se agrupan por User-agent. Un rastreador sigue el grupo que lo nombra y usa el grupo * solo cuando ningún grupo lo nombra; no combina los dos.

  • Gana la coincidencia más larga

    Dentro de un grupo, decide la regla Allow o Disallow con la ruta coincidente más larga, y Allow gana en caso de empate. * coincide con cualquier secuencia de caracteres y $ marca el final de la URL.

  • Tu página y Googlebot

    Si Googlebot puede rastrear la URL exacta que ingresaste según las reglas que le aplican.

  • Bloqueos de todo el sitio

    Si se les indica a todos los rastreadores que no entren en ninguna parte del sitio.

  • Rastreadores de IA

    Si tus reglas bloquean o permiten GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider y Meta-ExternalAgent.

  • Líneas Sitemap

    Cada línea Sitemap: del archivo, para que confirmes que los rastreadores apuntan al sitemap correcto.

Qué no puede revisar

  • Hacer cumplir nada. robots.txt es una solicitud que los rastreadores respetuosos siguen y otros ignoran. Para mantener contenido privado, ponlo detrás de un inicio de sesión.
  • Decirte si una página está indexada. Una URL bloqueada puede aparecer de todos modos en los buscadores si otras páginas la enlazan.
  • Mostrar qué rastreadores visitan realmente tu sitio ni con qué frecuencia. Eso está en los registros (logs) de tu servidor.
  • Leer los archivos de otros hosts, como un subdominio o una CDN. Cada host tiene su propio robots.txt.
  • Cubrir todos los rastreadores. La lista incluye rastreadores de IA muy usados, y aparecen nuevos tokens de user-agent con regularidad.

Por qué es importante

robots.txt es el primer archivo que solicitan la mayoría de los rastreadores, y una sola línea puede cambiar cómo se rastrea un sitio entero. “Disallow: /” bajo “User-agent: *”, olvidado desde la etapa de desarrollo, impide que los buscadores rastreen cualquier cosa. Una regla pensada para una carpeta, como “Disallow: /p”, también bloquea /products y /pricing, porque las reglas coinciden con el inicio de la ruta.

El archivo ahora cumple una segunda función: indicarles a las empresas de IA qué contenido pueden recopilar. Los tokens varían según el propósito. OpenAI documenta GPTBot para recopilar datos de entrenamiento y OAI-SearchBot para encontrar páginas que mostrar en la búsqueda de ChatGPT. Google-Extended controla si Google puede usar tu contenido para sus modelos Gemini, sin cambiar cómo rastrea la Búsqueda de Google. Bloquear un token no bloquea los demás, así que revisa cada uno según lo que quieres.

El código de estado importa tanto como el contenido. Un archivo inexistente (404) no causa daño: los rastreadores lo toman como permiso para rastrear todo. Un error del servidor es distinto. La documentación de Google dice que, cuando robots.txt devuelve un error 5xx, Google deja de rastrear el sitio durante las primeras 12 horas y luego usa la última copia que pudo leer durante un máximo de 30 días.

Cómo interpretar los resultados

HTTP 200
Se encontró el archivo, y las reglas que se muestran son las que aplican los rastreadores.
HTTP 404 u otro 4xx
No hay robots.txt, así que los rastreadores pueden rastrear todo. Eso está bien para muchos sitios, siempre que no haya nada que deba quedar fuera.
HTTP 5xx
El servidor no pudo devolver el archivo. Google pausa el rastreo mientras esto dure, así que corrige primero el error del servidor.
Googlebot: permitido o bloqueado (allowed or blocked)
Si Googlebot puede obtener la URL que ingresaste, según su propio grupo si el archivo tiene uno, o si no, según el grupo *.
Todo el sitio bloqueado
Se les indica a todos los rastreadores que no rastreen ninguna ruta. Es lo esperado en un sitio de staging; casi siempre es un error en un sitio en producción.
Rastreadores de IA: bloqueados o permitidos (blocked or allowed)
Lo que dicen tus reglas para cada token. Permitido incluye no tener ninguna regla para ese rastreador.
Sitemaps indicados
Las URL de sitemap del archivo. Cada una debe ser una URL completa que devuelva un sitemap XML que funcione.

Cómo corregir los problemas más comunes

  • Todo el sitio está bloqueado

    Quita “Disallow: /” del grupo “User-agent: *”, o deja vacía la línea Disallow para permitir todo. Si tu plataforma genera el archivo, revisa su configuración de visibilidad en buscadores y cualquier plantilla de robots.txt; en Shopify, es robots.txt.liquid en el código del tema.

  • Una regla bloquea más de lo que debería

    Las reglas coinciden con el inicio de una ruta. Termina las reglas de carpetas con una barra (Disallow: /private/) y usa $ para que coincida un final exacto (Disallow: /*.pdf$). Luego vuelve a revisar las URL que te importan.

  • Googlebot ignora tus reglas *

    Cuando el archivo tiene un grupo “User-agent: Googlebot”, Googlebot sigue solo ese grupo. Copia en su propio grupo todas las reglas que quieres que Googlebot respete.

  • Excluirte del entrenamiento de IA sin salir de los buscadores

    Agrega un grupo para cada rastreador de entrenamiento, por ejemplo “User-agent: GPTBot” seguido de “Disallow: /”, y haz lo mismo con ClaudeBot, CCBot, Google-Extended y Applebot-Extended. No toques Googlebot ni Bingbot. Decide por separado sobre OAI-SearchBot, Claude-SearchBot y PerplexityBot, que ayudan a que tus páginas aparezcan en las respuestas de búsqueda de esos servicios.

  • Usar robots.txt para quitar páginas de Google

    Disallow impide el rastreo, no la indexación. Para mantener una página fuera de los buscadores, permite el rastreo y agrega <meta name="robots" content="noindex">, o devuelve 404 o 410 si la página ya no existe. La herramienta Retiradas de Search Console oculta una URL temporalmente en casos urgentes.

Preguntas sobre esta herramienta

¿robots.txt impide que las empresas de IA usen mi contenido?

Solo en el caso de los rastreadores que deciden respetarlo, y solo a partir de la próxima vez que rastreen. No elimina el contenido que se recopiló antes de que agregaras la regla.

¿Bloquear Google-Extended saca mi sitio de la Búsqueda de Google?

No. Google dice que Google-Extended no afecta la inclusión ni el posicionamiento en la Búsqueda de Google. Solo controla si Google puede usar tu contenido para sus modelos Gemini; Googlebot sigue rastreando como antes.

¿Es un problema no tener robots.txt?

No. Si /robots.txt devuelve 404, los rastreadores asumen que pueden rastrear todo. Agrega uno cuando necesites mantener a los rastreadores fuera de áreas como los resultados de búsqueda internos, o para indicarles dónde está tu sitemap.

¿Puedo ocultar páginas privadas con robots.txt?

No. El archivo es público, así que listar rutas privadas en él las expone. Protege las páginas privadas con un inicio de sesión y usa noindex en las páginas públicas que deben quedar fuera de los buscadores.

¿Qué tan rápido nota Google un cambio?

Por lo general, Google guarda robots.txt en caché hasta 24 horas, así que un cambio puede tardar alrededor de un día en aplicarse. El informe de robots.txt de Search Console muestra la última versión que obtuvo Google.

Fuentes

Herramientas relacionadas

El Reporte SEO ($69, pago único) parte del análisis gratuito completo y agrega más páginas, el cambio que debes hacer para cada hallazgo, un PDF y reevaluaciones para verificar tus correcciones.

Acerca del Reporte SEO