Gratis værktøj: SEO

Tjek din robots.txt

Vi henter din robots.txt og læser den, som crawlere gør, efter RFC 9309. Se, om Googlebot må crawle den side, du indtastede, om hele hjemmesiden er blokeret, hvilke AI-crawlere dine regler tillader, og hvilke sitemaps filen angiver.

Gratis. Tjekker den adresse, du indtaster, på cirka 20 sekunder.

Det tjekker værktøjet

  • Filen og dens status

    Vi henter /robots.txt fra oprindelsen (origin) for den adresse, du indtaster (samme skema, vært og port), og viser HTTP-statussen og filen, som den bliver leveret.

  • Grupper matchet som en crawler

    Reglerne er grupperet efter User-agent. En crawler følger den gruppe, der nævner den, og bruger kun *-gruppen, når ingen gruppe nævner den; den blander ikke de to.

  • Det længste match vinder

    Inden for en gruppe afgør den Allow- eller Disallow-regel, der har den længste matchende sti, og Allow vinder ved uafgjort. * matcher en vilkårlig række tegn, og $ markerer slutningen af URL’en.

  • Din side og Googlebot

    Om Googlebot må crawle præcis den URL, du indtastede, efter de regler, der gælder for den.

  • Blokering af hele hjemmesiden

    Om alle crawlere bliver bedt om at holde sig væk fra hele hjemmesiden.

  • AI-crawlere

    Om dine regler blokerer eller tillader GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider og Meta-ExternalAgent.

  • Sitemap-linjer

    Alle Sitemap:-linjer i filen, så du kan bekræfte, at crawlerne bliver henvist til det rigtige sitemap.

Det kan det ikke tjekke

  • Håndhæve noget. robots.txt er en anmodning, som seriøse crawlere følger, og som andre ignorerer. Hvis indhold skal holdes privat, skal det ligge bag et login.
  • Fortælle dig, om en side er indekseret. En blokeret URL kan stadig dukke op i søgningen, hvis andre sider linker til den.
  • Vise, hvilke crawlere der faktisk besøger din hjemmeside, eller hvor ofte. Det står i dine serverlogs.
  • Læse filerne på andre værter, for eksempel et subdomæne eller et CDN. Hver vært har sin egen robots.txt.
  • Dække alle crawlere. Listen omfatter udbredte AI-crawlere, og der dukker jævnligt nye user agent-tokens op.

Hvorfor det er vigtigt

robots.txt er den første fil, de fleste crawlere henter, og én linje kan ændre, hvordan en hel hjemmeside bliver crawlet. »Disallow: /« under »User-agent: *«, efterladt fra udviklingsfasen, forhindrer søgemaskiner i at crawle noget som helst. En regel, der er ment til én mappe, for eksempel »Disallow: /p«, blokerer også /products og /pricing, fordi reglerne matcher begyndelsen af stien.

Filen har nu også en anden opgave: at fortælle AI-virksomheder, hvilket indhold de må indsamle. Tokens afhænger af formålet. OpenAI dokumenterer GPTBot til indsamling af træningsdata og OAI-SearchBot til at finde sider, der kan vises i ChatGPT-søgning. Google-Extended styrer, om Google må bruge dit indhold til sine Gemini-modeller, uden at det ændrer, hvordan Google Søgning crawler. Hvis du blokerer ét token, blokerer du ikke de andre, så tjek hvert enkelt op mod det, du ønsker.

Statuskoden betyder lige så meget som indholdet. En manglende fil (404) er harmløs: crawlere opfatter det som tilladelse til at crawle alt. En serverfejl er noget andet. Ifølge Googles dokumentation stopper Google med at crawle hjemmesiden i de første 12 timer, når robots.txt returnerer en 5xx-fejl, og bruger derefter den seneste kopi, den kunne læse, i op til 30 dage.

Sådan læser du resultaterne

HTTP 200
Filen blev fundet, og de viste regler er dem, crawlerne anvender.
HTTP 404 eller en anden 4xx
Der er ingen robots.txt, så crawlere må crawle alt. Det er fint for mange hjemmesider, så længe intet skal holdes ude.
HTTP 5xx
Serveren kunne ikke levere filen. Google sætter crawlingen på pause, så længe det står på, så ret serverfejlen først.
Googlebot: tilladt eller blokeret (allowed or blocked)
Om Googlebot må hente den URL, du indtastede, efter sin egen gruppe, hvis filen har en, og ellers efter *-gruppen.
Hele hjemmesiden blokeret
Alle crawlere bliver bedt om ikke at crawle nogen sti. Forventeligt på en staging-side; næsten altid en fejl på en live hjemmeside.
AI-crawlere: blokeret eller tilladt (blocked or allowed)
Hvad dine regler siger for hvert token. Tilladt (allowed) omfatter også, at der slet ingen regel er for den crawler.
Angivne sitemaps
Sitemap-URL’erne fra filen. Hver af dem bør være en fuld URL, der returnerer et fungerende XML-sitemap.

Sådan retter du de mest almindelige problemer

  • Hele hjemmesiden er blokeret

    Fjern »Disallow: /« fra gruppen »User-agent: *«, eller lad Disallow-linjen være tom for at tillade alt. Hvis din platform genererer filen, så tjek dens indstillinger for synlighed i søgemaskiner og en eventuel robots.txt-skabelon; i Shopify er det robots.txt.liquid i temakoden.

  • En regel blokerer mere end tilsigtet

    Reglerne matcher begyndelsen af en sti. Afslut regler for mapper med en skråstreg (Disallow: /private/), og brug $ til at matche en præcis slutning (Disallow: /*.pdf$). Tjek derefter de URL’er, der betyder noget for dig, igen.

  • Googlebot ignorerer dine *-regler

    Når filen har en gruppe »User-agent: Googlebot«, følger Googlebot kun den gruppe. Kopiér alle de regler, du vil have Googlebot til at overholde, ind i dens egen gruppe.

  • Fravælg AI-træning, men bliv i søgningen

    Tilføj en gruppe for hver træningscrawler, for eksempel »User-agent: GPTBot« efterfulgt af »Disallow: /«, og gør det samme for ClaudeBot, CCBot, Google-Extended og Applebot-Extended. Lad Googlebot og Bingbot være. Tag særskilt stilling til OAI-SearchBot, Claude-SearchBot og PerplexityBot, som hjælper dine sider med at blive vist i de tjenesters søgesvar.

  • Brug af robots.txt til at fjerne sider fra Google

    Disallow stopper crawling, ikke indeksering. Hvis en side skal holdes ude af søgningen, så tillad crawling og tilføj <meta name="robots" content="noindex">, eller returnér 404 eller 410, hvis siden er væk. Værktøjet Fjernelser (Removals) i Search Console skjuler en URL midlertidigt i akutte tilfælde.

Spørgsmål om værktøjet

Forhindrer robots.txt AI-virksomheder i at bruge mit indhold?

Kun for crawlere, der vælger at følge den, og kun fra næste gang de crawler. Den fjerner ikke indhold, der blev indsamlet, før du tilføjede reglen.

Bliver min hjemmeside fjernet fra Google Søgning, hvis jeg blokerer Google-Extended?

Nej. Ifølge Google påvirker Google-Extended ikke, om en hjemmeside kommer med i Google Søgning, eller hvordan den rangerer. Det styrer kun, om Google må bruge dit indhold til sine Gemini-modeller; Googlebot crawler videre som hidtil.

Er det et problem, hvis der ikke er nogen robots.txt?

Nej. Hvis /robots.txt returnerer 404, går crawlerne ud fra, at de må crawle alt. Tilføj en, når du har brug for at holde crawlere ude af områder som interne søgeresultater, eller når du vil henvise dem til dit sitemap.

Kan jeg skjule private sider med robots.txt?

Nej. Filen er offentlig, så hvis du skriver private stier i den, gør du netop opmærksom på dem. Beskyt private sider med et login, og brug noindex til offentlige sider, der skal holdes ude af søgningen.

Hvor hurtigt opdager Google en ændring?

Google cacher generelt robots.txt i op til 24 timer, så en ændring kan tage omkring et døgn om at slå igennem. Rapporten robots.txt i Search Console viser den version, Google senest har hentet.

Kilder

Relaterede værktøjer

SEO-rapport ($69, engangsbetaling) bygger videre på den fulde gratis scanning og tilføjer flere sider, ændringen til hvert fund, en PDF og gentests, så du kan bekræfte dine rettelser.

Om SEO-rapport