Outil gratuit : SEO

Testeur de robots.txt

Nous récupérons votre fichier robots.txt et le lisons comme le font les robots d’exploration, conformément à la RFC 9309. Voyez si Googlebot peut explorer la page que vous avez saisie, si l’ensemble du site est bloqué, quels robots d’IA vos règles autorisent et quels sitemaps le fichier liste.

Gratuit. Vérifie l’adresse que vous saisissez en 20 secondes environ.

Ce que vérifie cet outil

  • Le fichier et son statut

    Nous demandons /robots.txt à l’origine de l’adresse que vous saisissez (même schéma, même hôte et même port) et affichons le statut HTTP ainsi que le fichier tel qu’il est servi.

  • Des groupes appliqués comme le fait un robot

    Les règles sont regroupées par User-agent. Un robot suit le groupe qui le nomme et n’utilise le groupe * que si aucun groupe ne le nomme ; il ne combine pas les deux.

  • La correspondance la plus longue l’emporte

    Au sein d’un groupe, c’est la règle Allow ou Disallow dont le chemin correspondant est le plus long qui décide, et Allow l’emporte en cas d’égalité. * correspond à n’importe quelle suite de caractères et $ marque la fin de l’URL.

  • Votre page et Googlebot

    Si Googlebot peut explorer l’URL exacte que vous avez saisie, selon les règles qui s’appliquent à lui.

  • Blocage de tout le site

    Si tous les robots sont priés de ne pas explorer l’ensemble du site.

  • Robots d’IA

    Si vos règles bloquent ou autorisent GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider et Meta-ExternalAgent.

  • Lignes Sitemap

    Chaque ligne Sitemap: du fichier, pour que vous puissiez confirmer que les robots sont dirigés vers le bon sitemap.

Ce qu’il ne peut pas vérifier

  • Imposer quoi que ce soit. Le robots.txt est une demande que les robots bien conçus respectent et que les autres ignorent. Pour garder un contenu privé, protégez-le par une connexion.
  • Vous dire si une page est indexée. Une URL bloquée peut tout de même apparaître dans les résultats si d’autres pages renvoient vers elle.
  • Montrer quels robots visitent réellement votre site, ni à quelle fréquence. Vos journaux de serveur contiennent ces informations.
  • Lire les fichiers d’autres hôtes, comme un sous-domaine ou un CDN. Chaque hôte a son propre robots.txt.
  • Couvrir tous les robots. La liste comprend les robots d’IA les plus répandus, et de nouveaux identifiants user-agent apparaissent régulièrement.

Pourquoi c’est important

Le robots.txt est le premier fichier que demandent la plupart des robots d’exploration, et une seule ligne peut changer l’exploration de tout un site. « Disallow: / » sous « User-agent: * », oublié depuis le développement, empêche les moteurs de recherche d’explorer quoi que ce soit. Une règle destinée à un seul dossier, comme « Disallow: /p », bloque aussi /products et /pricing, car les règles portent sur le début du chemin.

Le fichier remplit désormais une seconde fonction : indiquer aux entreprises d’IA quels contenus elles peuvent collecter. Les identifiants diffèrent selon l’usage. OpenAI documente GPTBot pour la collecte de données d’entraînement et OAI-SearchBot pour trouver les pages à afficher dans la recherche de ChatGPT. Google-Extended détermine si Google peut utiliser votre contenu pour ses modèles Gemini, sans changer la façon dont la recherche Google explore votre site. Bloquer un identifiant ne bloque pas les autres : vérifiez donc chacun d’eux au regard de vos intentions.

Le code de statut compte autant que le contenu. Un fichier absent (404) est sans conséquence : les robots y voient l’autorisation de tout explorer. Une erreur serveur, c’est différent. La documentation de Google indique que, lorsque robots.txt renvoie une erreur 5xx, Google cesse d’explorer le site pendant les 12 premières heures, puis utilise la dernière copie qu’il a pu lire pendant 30 jours au maximum.

Comment lire les résultats

HTTP 200
Le fichier a été trouvé, et les règles affichées sont celles qu’appliquent les robots.
HTTP 404 ou autre code 4xx
Il n’y a pas de robots.txt : les robots peuvent donc tout explorer. Cela convient à de nombreux sites, tant que rien ne doit être tenu à l’écart.
HTTP 5xx
Le serveur n’a pas réussi à renvoyer le fichier. Google suspend l’exploration tant que cela dure : corrigez donc d’abord l’erreur serveur.
Googlebot : autorisé ou bloqué
Si Googlebot peut récupérer l’URL que vous avez saisie, selon son propre groupe si le fichier en contient un, sinon selon le groupe *.
Tout le site bloqué
Tous les robots sont priés de n’explorer aucun chemin. C’est normal sur un site de préproduction ; c’est presque toujours une erreur sur un site en production.
Robots d’IA : bloqués ou autorisés
Ce que vos règles prévoient pour chaque identifiant. « Autorisé » inclut l’absence de toute règle pour ce robot.
Sitemaps listés
Les URL de sitemap présentes dans le fichier. Chacune doit être une URL complète qui renvoie un sitemap XML fonctionnel.

Comment corriger les problèmes les plus courants

  • Tout le site est bloqué

    Supprimez « Disallow: / » du groupe « User-agent: * », ou laissez la ligne Disallow vide pour tout autoriser. Si votre plateforme génère le fichier, vérifiez ses réglages de visibilité dans les moteurs de recherche et tout éventuel modèle robots.txt ; sur Shopify, il s’agit de robots.txt.liquid dans le code du thème.

  • Une règle bloque plus que prévu

    Les règles portent sur le début du chemin. Terminez les règles de dossier par une barre oblique (Disallow: /private/) et utilisez $ pour cibler une fin exacte (Disallow: /*.pdf$). Vérifiez ensuite à nouveau les URL qui comptent pour vous.

  • Googlebot ignore vos règles *

    Lorsque le fichier contient un groupe « User-agent: Googlebot », Googlebot ne suit que ce groupe. Copiez dans ce groupe chaque règle que Googlebot doit continuer à respecter.

  • Refuser l’entraînement des IA tout en restant dans les résultats de recherche

    Ajoutez un groupe pour chaque robot d’entraînement, par exemple « User-agent: GPTBot » suivi de « Disallow: / », et faites de même pour ClaudeBot, CCBot, Google-Extended et Applebot-Extended. Ne touchez pas à Googlebot ni à Bingbot. Décidez séparément pour OAI-SearchBot, Claude-SearchBot et PerplexityBot, qui aident vos pages à apparaître dans les réponses de recherche de ces services.

  • Utiliser robots.txt pour retirer des pages de Google

    Disallow empêche l’exploration, pas l’indexation. Pour qu’une page n’apparaisse pas dans les résultats, autorisez l’exploration et ajoutez <meta name="robots" content="noindex">, ou renvoyez un code 404 ou 410 si la page n’existe plus. En cas d’urgence, l’outil Suppressions de Search Console masque temporairement une URL.

Questions sur cet outil

Le robots.txt empêche-t-il les entreprises d’IA d’utiliser mon contenu ?

Uniquement pour les robots qui choisissent de le respecter, et seulement à partir de leur prochaine exploration. Il ne supprime pas les contenus collectés avant l’ajout de la règle.

Bloquer Google-Extended retire-t-il mon site de la recherche Google ?

Non. Google indique que Google-Extended n’a aucune incidence sur l’inclusion ni sur le classement dans la recherche Google. Il détermine uniquement si Google peut utiliser votre contenu pour ses modèles Gemini ; Googlebot continue d’explorer comme avant.

L’absence de robots.txt pose-t-elle problème ?

Non. Si /robots.txt renvoie une erreur 404, les robots considèrent qu’ils peuvent tout explorer. Ajoutez-en un lorsque vous devez tenir les robots à l’écart de certaines zones, comme les résultats de recherche interne, ou pour les diriger vers votre sitemap.

Puis-je masquer des pages privées avec robots.txt ?

Non. Le fichier est public : y lister des chemins privés revient à les signaler. Protégez les pages privées par une connexion, et utilisez noindex pour les pages publiques qui ne doivent pas apparaître dans les résultats.

En combien de temps Google remarque-t-il une modification ?

Google met généralement le robots.txt en cache jusqu’à 24 heures : une modification peut donc mettre environ une journée à s’appliquer. Le rapport robots.txt de Search Console montre la version que Google a récupérée en dernier.

Sources

Outils associés

Le Rapport SEO ($69, paiement unique) part de l’analyse gratuite complète et y ajoute davantage de pages, la modification à apporter pour chaque constat, un PDF et de nouveaux tests pour vérifier vos corrections.

À propos du Rapport SEO