Gratis tool: SEO

Robots.txt checken

We halen je robots.txt op en lezen die zoals crawlers dat doen, volgens RFC 9309. Zie of Googlebot de pagina die je hebt ingevoerd mag crawlen, of de hele site geblokkeerd is, welke AI-crawlers je regels toestaan en welke sitemaps in het bestand staan.

Gratis. Controleert het ingevoerde adres in ongeveer 20 seconden.

Wat deze tool controleert

  • Het bestand en de status

    We vragen /robots.txt op bij de origin van het adres dat je invoert (hetzelfde schema, dezelfde host en dezelfde poort) en tonen de HTTP-status en het bestand zoals het wordt geleverd.

  • Groepen gematcht zoals een crawler dat doet

    Regels worden gegroepeerd per User-agent. Een crawler volgt de groep die hem bij naam noemt en gebruikt de *-groep alleen als geen enkele groep hem noemt; hij combineert die twee niet.

  • De langste match wint

    Binnen een groep beslist de Allow- of Disallow-regel met het langste overeenkomende pad, en bij een gelijke stand wint Allow. * staat voor elke reeks tekens en $ markeert het einde van de URL.

  • Je pagina en Googlebot

    Of Googlebot de exacte URL die je hebt ingevoerd mag crawlen volgens de regels die voor Googlebot gelden.

  • Blokkades voor de hele site

    Of alle crawlers de opdracht krijgen de hele site te mijden.

  • AI-crawlers

    Of je regels GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider en Meta-ExternalAgent blokkeren of toestaan.

  • Sitemap-regels

    Elke Sitemap:-regel in het bestand, zodat je kunt bevestigen dat crawlers naar de juiste sitemap worden verwezen.

Wat de tool niet kan controleren

  • Iets afdwingen. robots.txt is een verzoek dat fatsoenlijke crawlers opvolgen en andere negeren. Wil je content privé houden, zet die dan achter een login.
  • Je vertellen of een pagina is geïndexeerd. Een geblokkeerde URL kan nog steeds in de zoekresultaten verschijnen als andere pagina’s ernaar linken.
  • Laten zien welke crawlers je site echt bezoeken of hoe vaak. Dat staat in je serverlogs.
  • De bestanden op andere hosts lezen, zoals een subdomein of een CDN. Elke host heeft een eigen robots.txt.
  • Elke crawler dekken. De lijst bevat veelgebruikte AI-crawlers, en er verschijnen regelmatig nieuwe user-agent-tokens.

Waarom het belangrijk is

robots.txt is het eerste bestand dat de meeste crawlers opvragen, en één regel kan veranderen hoe een hele site wordt gecrawld. “Disallow: /” onder “User-agent: *”, overgebleven uit de ontwikkelfase, zorgt ervoor dat zoekmachines niets meer crawlen. Een regel die voor één map bedoeld is, zoals “Disallow: /p”, blokkeert ook /products en /pricing, omdat regels het begin van het pad matchen.

Het bestand heeft nu een tweede taak: AI-bedrijven vertellen welke content ze mogen verzamelen. De tokens verschillen per doel. OpenAI documenteert GPTBot voor het verzamelen van trainingsdata en OAI-SearchBot voor het vinden van pagina’s om te tonen in de zoekfunctie van ChatGPT. Google-Extended bepaalt of Google je content mag gebruiken voor zijn Gemini-modellen, zonder dat dit verandert hoe Google Zoeken crawlt. Als je één token blokkeert, blokkeer je de andere niet, dus vergelijk elk token met wat je wilt.

De statuscode is net zo belangrijk als de inhoud. Een ontbrekend bestand (404) is onschuldig: crawlers zien dat als toestemming om alles te crawlen. Een serverfout is iets anders. Volgens de documentatie van Google stopt Google, als robots.txt een 5xx-fout geeft, de eerste 12 uur met het crawlen van de site en gebruikt het daarna tot 30 dagen lang de laatste versie die het kon lezen.

Zo lees je de resultaten

HTTP 200
Het bestand is gevonden, en de getoonde regels zijn de regels die crawlers toepassen.
HTTP 404 of een andere 4xx
Er is geen robots.txt, dus crawlers mogen alles crawlen. Voor veel sites is dat prima, zolang niets buiten bereik hoeft te blijven.
HTTP 5xx
De server kon het bestand niet leveren. Google pauzeert het crawlen zolang dit duurt, dus los eerst de serverfout op.
Googlebot: toegestaan of geblokkeerd (allowed or blocked)
Of Googlebot de URL die je hebt ingevoerd mag ophalen, volgens zijn eigen groep als het bestand die heeft, anders volgens de *-groep.
Hele site geblokkeerd
Alle crawlers krijgen de opdracht geen enkel pad te crawlen. Normaal op een stagingsite; op een live site bijna altijd een vergissing.
AI-crawlers: geblokkeerd of toegestaan (blocked or allowed)
Wat je regels per token zeggen. Toegestaan omvat ook dat er voor die crawler helemaal geen regel is.
Vermelde sitemaps
De sitemap-URL’s uit het bestand. Elke URL hoort een volledige URL te zijn die een werkende XML-sitemap teruggeeft.

Zo los je de meest voorkomende problemen op

  • De hele site is geblokkeerd

    Verwijder “Disallow: /” uit de groep “User-agent: *”, of laat de Disallow-regel leeg om alles toe te staan. Als je platform het bestand genereert, controleer dan de instellingen voor zichtbaarheid in zoekmachines en een eventuele robots.txt-template; bij Shopify is dat robots.txt.liquid in de themacode.

  • Een regel blokkeert meer dan bedoeld

    Regels matchen het begin van een pad. Sluit regels voor mappen af met een slash (Disallow: /private/) en gebruik $ om een exact einde te matchen (Disallow: /*.pdf$). Controleer daarna opnieuw de URL’s die voor jou belangrijk zijn.

  • Googlebot negeert je *-regels

    Als het bestand een groep “User-agent: Googlebot” heeft, volgt Googlebot alleen die groep. Kopieer elke regel die voor Googlebot moet blijven gelden naar die eigen groep.

  • Afmelden voor AI-training en toch vindbaar blijven

    Voeg een groep toe voor elke trainingscrawler, bijvoorbeeld “User-agent: GPTBot” gevolgd door “Disallow: /”, en doe hetzelfde voor ClaudeBot, CCBot, Google-Extended en Applebot-Extended. Laat Googlebot en Bingbot ongemoeid. Beslis apart over OAI-SearchBot, Claude-SearchBot en PerplexityBot, die helpen om je pagina’s te laten verschijnen in de zoekantwoorden van die diensten.

  • robots.txt gebruiken om pagina’s uit Google te halen

    Disallow stopt het crawlen, niet het indexeren. Wil je een pagina uit de zoekresultaten houden, sta crawlen dan toe en voeg <meta name="robots" content="noindex"> toe, of geef 404 of 410 terug als de pagina weg is. Met de tool Verwijderingen in Search Console verberg je in dringende gevallen tijdelijk een URL.

Vragen over deze tool

Houdt robots.txt AI-bedrijven tegen om mijn content te gebruiken?

Alleen bij crawlers die ervoor kiezen het bestand te volgen, en pas vanaf de volgende keer dat ze crawlen. Content die is verzameld voordat je de regel toevoegde, wordt er niet mee verwijderd.

Verdwijnt mijn site uit Google Zoeken als ik Google-Extended blokkeer?

Nee. Google zegt dat Google-Extended geen invloed heeft op opname of ranking in Google Zoeken. Het bepaalt alleen of Google je content mag gebruiken voor zijn Gemini-modellen; Googlebot blijft crawlen zoals voorheen.

Is een ontbrekende robots.txt een probleem?

Nee. Als /robots.txt een 404 geeft, gaan crawlers ervan uit dat ze alles mogen crawlen. Voeg er een toe als je crawlers uit delen zoals interne zoekresultaten wilt houden, of om ze naar je sitemap te verwijzen.

Kan ik privépagina’s verbergen met robots.txt?

Nee. Het bestand is openbaar, dus als je privépaden erin zet, maak je ze juist bekend. Bescherm privépagina’s met een login en gebruik noindex voor openbare pagina’s die uit de zoekresultaten moeten blijven.

Hoe snel merkt Google een wijziging op?

Google bewaart robots.txt meestal tot 24 uur in de cache, dus het kan ongeveer een dag duren voordat een wijziging geldt. Het robots.txt-rapport in Search Console toont de versie die Google het laatst heeft opgehaald.

Bronnen

Gerelateerde tools

Het SEO-rapport ($69, eenmalig) begint bij de volledige gratis scan en voegt meer pagina’s toe, de aanpassing voor elke bevinding, een pdf en hertests om je oplossingen te controleren.

Over het SEO-rapport