Gratis verktøy: SEO

Robots.txt-sjekk for nettstedet ditt

Vi henter robots.txt-filen din og leser den slik crawlere gjør, i tråd med RFC 9309. Se om Googlebot kan gjennomsøke siden du skrev inn, om hele nettstedet er blokkert, hvilke AI-crawlere reglene dine slipper til, og hvilke sitemaps filen lister opp.

Gratis. Sjekker adressen du skriver inn, på omtrent 20 sekunder.

Hva verktøyet sjekker

  • Filen og statusen

    Vi ber om /robots.txt fra opprinnelsen (origin) til adressen du skriver inn (samme skjema, vert og port) og viser HTTP-statusen og filen slik den leveres.

  • Grupper tolket slik en crawler gjør

    Reglene grupperes etter User-agent. En crawler følger gruppen som nevner den, og bruker *-gruppen bare når ingen gruppe nevner den; den blander ikke de to.

  • Lengste treff vinner

    Innenfor en gruppe er det Allow- eller Disallow-regelen med den lengste stien som treffer, som avgjør, og Allow vinner ved likhet. * treffer en hvilken som helst rekke med tegn, og $ markerer slutten av URL-en.

  • Siden din og Googlebot

    Om Googlebot kan gjennomsøke nøyaktig den URL-en du skrev inn, etter reglene som gjelder for den.

  • Blokkering av hele nettstedet

    Om alle crawlere blir bedt om å holde seg unna hele nettstedet.

  • AI-crawlere

    Om reglene dine blokkerer eller tillater GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider og Meta-ExternalAgent.

  • Sitemap-linjer

    Hver Sitemap:-linje i filen, så du kan bekrefte at crawlerne blir sendt til riktig sitemap.

Hva det ikke kan sjekke

  • Håndheve noe. robots.txt er en forespørsel som veloppdragne crawlere følger og andre ignorerer. For å holde innhold privat må du legge det bak en innlogging.
  • Si deg om en side er indeksert. En blokkert URL kan fortsatt vises i søk hvis andre sider lenker til den.
  • Vise hvilke crawlere som faktisk besøker nettstedet ditt, eller hvor ofte. Det står i serverloggene dine.
  • Lese filene på andre verter, for eksempel et underdomene eller et CDN. Hver vert har sin egen robots.txt.
  • Dekke alle crawlere. Listen omfatter mye brukte AI-crawlere, og nye user-agent-tokener dukker stadig opp.

Hvorfor det er viktig

robots.txt er den første filen de fleste crawlere ber om, og én linje kan endre hvordan et helt nettsted blir gjennomsøkt. «Disallow: /» under «User-agent: *», gjenglemt fra utviklingen, hindrer søkemotorene i å gjennomsøke noe som helst. En regel ment for én mappe, for eksempel «Disallow: /p», blokkerer også /products og /pricing, fordi reglene matcher begynnelsen av stien.

Filen har nå også en annen jobb: å fortelle AI-selskaper hvilket innhold de kan samle inn. Tokenene varierer etter formål. OpenAI dokumenterer GPTBot for innsamling av treningsdata og OAI-SearchBot for å finne sider som skal vises i ChatGPT-søk. Google-Extended styrer om Google kan bruke innholdet ditt til Gemini-modellene sine, uten å endre hvordan Google Søk gjennomsøker. Å blokkere ett token blokkerer ikke de andre, så sjekk hvert av dem mot det du ønsker.

Statuskoden betyr like mye som innholdet. En manglende fil (404) er ufarlig: crawlere tar det som tillatelse til å gjennomsøke alt. En serverfeil er noe annet. Ifølge dokumentasjonen fra Google slutter Google å gjennomsøke nettstedet de første 12 timene når robots.txt returnerer en 5xx-feil, og bruker deretter den siste kopien som kunne leses, i opptil 30 dager.

Slik leser du resultatene

HTTP 200
Filen ble funnet, og reglene som vises, er de crawlerne bruker.
HTTP 404 eller en annen 4xx
Det finnes ingen robots.txt, så crawlere kan gjennomsøke alt. Det er greit for mange nettsteder, så lenge ingenting må holdes utenfor.
HTTP 5xx
Serveren klarte ikke å levere filen. Google setter gjennomsøkingen på pause så lenge dette varer, så rett serverfeilen først.
Googlebot: tillatt eller blokkert (allowed or blocked)
Om Googlebot kan hente URL-en du skrev inn, under sin egen gruppe hvis filen har en, ellers under *-gruppen.
Hele nettstedet blokkert
Alle crawlere blir bedt om ikke å gjennomsøke noen sti. Forventet på et testmiljø; nesten alltid en feil på et nettsted som er i drift.
AI-crawlere: blokkert eller tillatt (blocked or allowed)
Hva reglene dine sier for hvert token. Tillatt omfatter også at det ikke finnes noen regel for den crawleren i det hele tatt.
Oppførte sitemaps
Sitemap-URL-ene fra filen. Hver av dem bør være en fullstendig URL som returnerer en fungerende XML-sitemap.

Slik fikser du de vanligste problemene

  • Hele nettstedet er blokkert

    Fjern «Disallow: /» fra gruppen «User-agent: *», eller la Disallow-linjen stå tom for å tillate alt. Hvis plattformen din genererer filen, sjekker du innstillingene for synlighet i søkemotorer og eventuelle robots.txt-maler; i Shopify er det robots.txt.liquid i temakoden.

  • En regel blokkerer mer enn tiltenkt

    Regler matcher begynnelsen av en sti. Avslutt mapperegler med skråstrek (Disallow: /private/), og bruk $ for å matche en nøyaktig slutt (Disallow: /*.pdf$). Sjekk deretter URL-ene som betyr noe for deg, på nytt.

  • Googlebot ignorerer *-reglene dine

    Når filen har en «User-agent: Googlebot»-gruppe, følger Googlebot bare den gruppen. Kopier alle reglene du vil at Googlebot skal følge, inn i dens egen gruppe.

  • Si nei til AI-trening, men bli værende i søk

    Legg til en gruppe for hver treningscrawler, for eksempel «User-agent: GPTBot» etterfulgt av «Disallow: /», og gjør det samme for ClaudeBot, CCBot, Google-Extended og Applebot-Extended. La Googlebot og Bingbot være i fred. Ta en egen beslutning om OAI-SearchBot, Claude-SearchBot og PerplexityBot, som hjelper sidene dine med å vises i søkesvarene til disse tjenestene.

  • Å bruke robots.txt for å fjerne sider fra Google

    Disallow stopper gjennomsøking, ikke indeksering. For å holde en side utenfor søk tillater du gjennomsøking og legger til <meta name="robots" content="noindex">, eller returnerer 404 eller 410 hvis siden er borte. Verktøyet for fjerning (Removals) i Search Console skjuler en URL midlertidig i hastesaker.

Spørsmål om verktøyet

Hindrer robots.txt AI-selskaper i å bruke innholdet mitt?

Bare for crawlere som velger å følge filen, og bare fra neste gang de gjennomsøker. Den fjerner ikke innhold som ble samlet inn før du la til regelen.

Fjernes nettstedet mitt fra Google Søk hvis jeg blokkerer Google-Extended?

Nei. Google sier at Google-Extended ikke påvirker om nettstedet tas med i Google Søk, eller hvordan det rangeres der. Det styrer bare om Google kan bruke innholdet ditt til Gemini-modellene sine; Googlebot fortsetter å gjennomsøke som før.

Er det et problem at robots.txt mangler?

Nei. Hvis /robots.txt returnerer 404, antar crawlere at de kan gjennomsøke alt. Legg til en fil når du trenger å holde crawlere unna områder som interne søkeresultater, eller for å vise dem veien til sitemapen din.

Kan jeg skjule private sider med robots.txt?

Nei. Filen er offentlig, så hvis du lister private stier i den, reklamerer du for dem. Beskytt private sider med innlogging, og bruk noindex for offentlige sider som ikke skal vises i søk.

Hvor raskt oppdager Google en endring?

Google mellomlagrer vanligvis robots.txt i opptil 24 timer, så det kan ta rundt et døgn før en endring gjelder. robots.txt-rapporten i Search Console viser versjonen Google sist hentet.

Kilder

Relaterte verktøy

«SEO-rapport» ($69, engangspris) bygger på hele den gratis skanningen og legger til flere sider, endringen du skal gjøre for hvert funn, en PDF og kontrolltester som bekrefter utbedringene dine.

Les mer om «SEO-rapport»