Herramienta gratis · SEO

Validador de robots.txt

Obtenemos tu robots.txt y lo leemos como lo hacen los rastreadores, según la RFC 9309. Comprueba si Googlebot puede rastrear la página que has introducido, si todo el sitio está bloqueado, qué rastreadores de IA permiten tus reglas y qué sitemaps incluye el archivo.

Gratis. Comprueba la dirección que introduces en unos 20 segundos.

Qué comprueba esta herramienta

  • El archivo y su estado

    Solicitamos /robots.txt al origen de la dirección que introduces (el mismo esquema, host y puerto) y mostramos el estado HTTP y el archivo tal como se sirve.

  • Grupos interpretados como lo haría un rastreador

    Las reglas se agrupan por User-agent. Un rastreador sigue el grupo que lo nombra y solo usa el grupo * cuando ningún grupo lo nombra; no mezcla los dos.

  • Gana la coincidencia más larga

    Dentro de un grupo, decide la regla Allow o Disallow cuya ruta coincidente sea más larga, y Allow gana en caso de empate. * coincide con cualquier secuencia de caracteres y $ marca el final de la URL.

  • Tu página y Googlebot

    Si Googlebot puede rastrear la URL exacta que has introducido según las reglas que se le aplican.

  • Bloqueos de todo el sitio

    Si se indica a todos los rastreadores que no entren en ninguna parte del sitio.

  • Rastreadores de IA

    Si tus reglas bloquean o permiten GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider y Meta-ExternalAgent.

  • Líneas Sitemap

    Todas las líneas Sitemap: del archivo, para que puedas confirmar que los rastreadores apuntan al sitemap correcto.

Qué no puede comprobar

  • Obligar a nada. robots.txt es una petición que los rastreadores respetuosos siguen y otros ignoran. Para mantener un contenido privado, protégelo con un inicio de sesión.
  • Decirte si una página está indexada. Una URL bloqueada puede aparecer igualmente en los buscadores si otras páginas enlazan a ella.
  • Mostrar qué rastreadores visitan realmente tu sitio ni con qué frecuencia. Eso está en los registros de tu servidor.
  • Leer los archivos de otros hosts, como un subdominio o una CDN. Cada host tiene su propio robots.txt.
  • Cubrir todos los rastreadores. La lista incluye rastreadores de IA muy utilizados, y aparecen nuevos tokens de user-agent con regularidad.

Por qué es importante

robots.txt es el primer archivo que solicitan la mayoría de los rastreadores, y una sola línea puede cambiar cómo se rastrea todo un sitio. «Disallow: /» bajo «User-agent: *», olvidado tras el desarrollo, impide que los buscadores rastreen nada. Una regla pensada para una carpeta, como «Disallow: /p», también bloquea /products y /pricing, porque las reglas coinciden con el inicio de la ruta.

El archivo tiene ahora una segunda función: indicar a las empresas de IA qué contenido pueden recopilar. Los tokens varían según la finalidad. OpenAI documenta GPTBot para recopilar datos de entrenamiento y OAI-SearchBot para encontrar páginas que mostrar en la búsqueda de ChatGPT. Google-Extended controla si Google puede usar tu contenido para sus modelos Gemini, sin cambiar cómo rastrea la Búsqueda de Google. Bloquear un token no bloquea los demás, así que revisa cada uno según lo que pretendas.

El código de estado importa tanto como el contenido. Un archivo que no existe (404) es inofensivo: los rastreadores lo interpretan como permiso para rastrearlo todo. Un error del servidor es distinto. La documentación de Google indica que, cuando robots.txt devuelve un error 5xx, Google deja de rastrear el sitio durante las primeras 12 horas y después usa la última copia que pudo leer durante un máximo de 30 días.

Cómo interpretar los resultados

HTTP 200
Se encontró el archivo, y las reglas que se muestran son las que aplican los rastreadores.
HTTP 404 u otro 4xx
No hay robots.txt, así que los rastreadores pueden rastrearlo todo. Es correcto para muchos sitios, siempre que no haya nada que deba quedar fuera.
HTTP 5xx
El servidor no pudo devolver el archivo. Google pausa el rastreo mientras dure el problema, así que corrige primero el error del servidor.
Googlebot: permitido o bloqueado (allowed or blocked)
Si Googlebot puede obtener la URL que has introducido, según su propio grupo si el archivo tiene uno o, si no, según el grupo *.
Todo el sitio bloqueado
Se indica a todos los rastreadores que no rastreen ninguna ruta. Es lo esperable en un entorno de pruebas; en un sitio en producción, casi siempre es un error.
Rastreadores de IA: bloqueados o permitidos (AI crawlers: blocked or allowed)
Lo que dicen tus reglas para cada token. «Permitido» (allowed) incluye el caso de no tener ninguna regla para ese rastreador.
Sitemaps incluidos
Las URL de sitemap que figuran en el archivo. Cada una debería ser una URL completa que devuelva un sitemap XML que funcione.

Cómo corregir los problemas más habituales

  • Todo el sitio está bloqueado

    Elimina «Disallow: /» del grupo «User-agent: *», o deja vacía la línea Disallow para permitirlo todo. Si tu plataforma genera el archivo, revisa sus ajustes de visibilidad en buscadores y cualquier plantilla de robots.txt; en Shopify, es robots.txt.liquid, en el código del tema.

  • Una regla bloquea más de lo previsto

    Las reglas coinciden con el inicio de una ruta. Termina las reglas de carpetas con una barra (Disallow: /private/) y usa $ para coincidir con un final exacto (Disallow: /*.pdf$). Después, vuelve a comprobar las URL que te importan.

  • Googlebot ignora tus reglas de *

    Cuando el archivo tiene un grupo «User-agent: Googlebot», Googlebot solo sigue ese grupo. Copia en su propio grupo todas las reglas que quieras que Googlebot siga respetando.

  • Excluirte del entrenamiento de IA sin salir de los buscadores

    Añade un grupo para cada rastreador de entrenamiento, por ejemplo «User-agent: GPTBot» seguido de «Disallow: /», y haz lo mismo con ClaudeBot, CCBot, Google-Extended y Applebot-Extended. No toques Googlebot ni Bingbot. Decide por separado qué hacer con OAI-SearchBot, Claude-SearchBot y PerplexityBot, que ayudan a que tus páginas aparezcan en las respuestas de búsqueda de esos servicios.

  • Usar robots.txt para eliminar páginas de Google

    Disallow impide el rastreo, no la indexación. Para que una página no aparezca en los buscadores, permite el rastreo y añade <meta name="robots" content="noindex">, o devuelve un 404 o un 410 si la página ya no existe. La herramienta Retiradas de Search Console oculta una URL temporalmente en casos urgentes.

Preguntas sobre esta herramienta

¿robots.txt impide que las empresas de IA usen mi contenido?

Solo en el caso de los rastreadores que deciden respetarlo, y solo a partir de la próxima vez que rastreen. No elimina el contenido que se recopiló antes de que añadieras la regla.

¿Bloquear Google-Extended eliminará mi sitio de la Búsqueda de Google?

No. Google afirma que Google-Extended no afecta a la inclusión ni al posicionamiento en la Búsqueda de Google. Solo controla si Google puede usar tu contenido para sus modelos Gemini; Googlebot sigue rastreando como antes.

¿Es un problema no tener robots.txt?

No. Si /robots.txt devuelve un 404, los rastreadores dan por hecho que pueden rastrearlo todo. Añade uno cuando necesites mantener a los rastreadores fuera de zonas como los resultados de búsqueda internos, o para indicarles dónde está tu sitemap.

¿Puedo ocultar páginas privadas con robots.txt?

No. El archivo es público, así que incluir en él rutas privadas equivale a anunciarlas. Protege las páginas privadas con un inicio de sesión y usa noindex para las páginas públicas que no deban aparecer en los buscadores.

¿Cuánto tarda Google en detectar un cambio?

Por lo general, Google guarda en caché robots.txt durante un máximo de 24 horas, así que un cambio puede tardar alrededor de un día en aplicarse. El informe de robots.txt de Search Console muestra la última versión que obtuvo Google.

Fuentes

Herramientas relacionadas

El Informe SEO ($69, pago único) parte del análisis gratuito completo y añade más páginas, el cambio que debes hacer para cada hallazgo, un PDF y reevaluaciones para verificar tus correcciones.

Sobre el Informe SEO