Gratisverktyg: SEO

Testa din robots.txt

Vi hämtar din robots.txt och läser den som sökrobotar gör, enligt RFC 9309. Se om Googlebot får genomsöka sidan du angav, om hela webbplatsen är blockerad, vilka AI-crawlers dina regler tillåter och vilka sitemaps filen listar.

Gratis. Kontrollerar adressen du anger på ungefär 20 sekunder.

Det här kontrollerar verktyget

  • Filen och dess status

    Vi begär /robots.txt från ursprunget för adressen du anger (samma schema, värd och port) och visar HTTP-statusen och filen så som den levereras.

  • Grupper matchas som en sökrobot gör

    Reglerna grupperas efter User-agent. En sökrobot följer den grupp som nämner den och använder *-gruppen bara när ingen grupp nämner den; den blandar inte de två.

  • Den längsta matchningen vinner

    Inom en grupp avgör den Allow- eller Disallow-regel som har den längsta matchande sökvägen, och Allow vinner vid lika. * matchar valfri följd av tecken och $ markerar slutet av URL:en.

  • Din sida och Googlebot

    Om Googlebot får genomsöka exakt den URL du angav, enligt de regler som gäller för Googlebot.

  • Spärr av hela webbplatsen

    Om alla sökrobotar uppmanas att hålla sig borta från hela webbplatsen.

  • AI-crawlers

    Om dina regler blockerar eller tillåter GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider och Meta-ExternalAgent.

  • Sitemap-rader

    Varje Sitemap:-rad i filen, så att du kan bekräfta att sökrobotarna hänvisas till rätt sitemap.

Det här kan det inte kontrollera

  • Tvinga fram något. robots.txt är en begäran som väluppfostrade sökrobotar följer och andra struntar i. Lägg innehållet bakom en inloggning om det ska hållas privat.
  • Säga om en sida är indexerad. En blockerad URL kan ändå visas i sökresultaten om andra sidor länkar till den.
  • Visa vilka sökrobotar som faktiskt besöker din webbplats eller hur ofta. Det framgår av dina serverloggar.
  • Läsa filerna på andra värdar, till exempel en underdomän eller ett CDN. Varje värd har sin egen robots.txt.
  • Täcka alla sökrobotar. Listan omfattar vanliga AI-crawlers, och nya user-agent-token dyker upp regelbundet.

Därför spelar det roll

robots.txt är den första fil som de flesta sökrobotar begär, och en enda rad kan ändra hur en hel webbplats genomsöks. ”Disallow: /” under ”User-agent: *”, kvar från utvecklingen, hindrar sökmotorer från att genomsöka något alls. En regel som var tänkt för en mapp, till exempel ”Disallow: /p”, blockerar också /products och /pricing, eftersom reglerna matchar början av sökvägen.

Filen har nu också en andra uppgift: att tala om för AI-företag vilket innehåll de får samla in. Tokenen skiljer sig åt beroende på syfte. OpenAI dokumenterar GPTBot för insamling av träningsdata och OAI-SearchBot för att hitta sidor att visa i sökningen i ChatGPT. Google-Extended styr om Google får använda ditt innehåll för sina Gemini-modeller, utan att ändra hur Google Sök genomsöker. Att blockera ett token blockerar inte de andra, så kontrollera vart och ett mot det du vill uppnå.

Statuskoden spelar lika stor roll som innehållet. En saknad fil (404) är ofarlig: sökrobotar tolkar det som att de får genomsöka allt. Ett serverfel är något annat. Enligt Googles dokumentation slutar Google att genomsöka webbplatsen under de första 12 timmarna när robots.txt returnerar ett 5xx-fel, och använder sedan den senaste kopia som gick att läsa i upp till 30 dagar.

Så läser du resultaten

HTTP 200
Filen hittades, och reglerna som visas är de som sökrobotarna tillämpar.
HTTP 404 eller en annan 4xx-kod
Det finns ingen robots.txt, så sökrobotar får genomsöka allt. Det fungerar för många webbplatser, så länge inget behöver hållas utanför.
HTTP 5xx
Servern kunde inte leverera filen. Google pausar genomsökningen så länge det pågår, så åtgärda serverfelet först.
Googlebot: tillåten eller blockerad (allowed or blocked)
Om Googlebot får hämta URL:en du angav, enligt sin egen grupp om filen har en sådan, annars enligt *-gruppen.
Hela webbplatsen blockerad
Alla sökrobotar uppmanas att inte genomsöka någon sökväg alls. Väntat på en testmiljö; nästan alltid ett misstag på en publicerad webbplats.
AI-crawlers: blockerade eller tillåtna (blocked or allowed)
Vad dina regler säger för varje token. Tillåten (allowed) gäller även när det inte finns någon regel alls för den sökroboten.
Listade sitemaps
Sitemap-URL:erna från filen. Var och en bör vara en fullständig URL som returnerar en fungerande XML-sitemap.

Så åtgärdar du de vanligaste problemen

  • Hela webbplatsen är blockerad

    Ta bort ”Disallow: /” från gruppen ”User-agent: *”, eller lämna Disallow-raden tom för att tillåta allt. Om din plattform genererar filen, kontrollera dess inställningar för synlighet i sökmotorer och eventuell robots.txt-mall; i Shopify är det robots.txt.liquid i temats kod.

  • En regel blockerar mer än avsett

    Regler matchar början av en sökväg. Avsluta mappregler med ett snedstreck (Disallow: /private/) och använd $ för att matcha ett exakt slut (Disallow: /*.pdf$). Kontrollera sedan de URL:er som är viktiga för dig igen.

  • Googlebot ignorerar dina *-regler

    När filen har en grupp ”User-agent: Googlebot” följer Googlebot bara den gruppen. Kopiera varje regel som du vill att Googlebot ska följa till dess egen grupp.

  • Avstå från AI-träning men synas i sökresultaten

    Lägg till en grupp för varje sökrobot som samlar träningsdata, till exempel ”User-agent: GPTBot” följt av ”Disallow: /”, och gör likadant för ClaudeBot, CCBot, Google-Extended och Applebot-Extended. Låt Googlebot och Bingbot vara. Bestäm separat om OAI-SearchBot, Claude-SearchBot och PerplexityBot, som hjälper dina sidor att synas i de tjänsternas sökresultat.

  • Använda robots.txt för att ta bort sidor från Google

    Disallow stoppar genomsökning, inte indexering. För att hålla en sida borta från sökresultaten tillåter du genomsökning och lägger till <meta name="robots" content="noindex">, eller returnerar 404 eller 410 om sidan är borttagen. Verktyget Borttagningar i Search Console döljer en URL tillfälligt i brådskande fall.

Frågor om verktyget

Hindrar robots.txt AI-företag från att använda mitt innehåll?

Bara för sökrobotar som väljer att följa filen, och bara från nästa gång de genomsöker. Den tar inte bort innehåll som samlades in innan du lade till regeln.

Försvinner min webbplats från Google Sök om jag blockerar Google-Extended?

Nej. Google uppger att Google-Extended inte påverkar om din webbplats tas med eller hur den rankas i Google Sök. Den styr bara om Google får använda ditt innehåll för sina Gemini-modeller; Googlebot fortsätter att genomsöka som tidigare.

Är det ett problem att robots.txt saknas?

Nej. Om /robots.txt returnerar 404 utgår sökrobotar från att de får genomsöka allt. Lägg till en fil när du behöver hålla sökrobotar borta från områden som interna sökresultat, eller för att hänvisa dem till din sitemap.

Kan jag dölja privata sidor med robots.txt?

Nej. Filen är offentlig, så om du listar privata sökvägar i den gör du reklam för dem. Skydda privata sidor med en inloggning och använd noindex för offentliga sidor som ska hållas borta från sökresultaten.

Hur snabbt märker Google en ändring?

Google cachar i regel robots.txt i upp till 24 timmar, så en ändring kan ta ungefär ett dygn att slå igenom. Rapporten för robots.txt i Search Console visar den version som Google senast hämtade.

Källor

Relaterade verktyg

Vår SEO-rapport ($69, engångspris) utgår från den fullständiga gratisskanningen och lägger till fler sidor, ändringen som ska göras för varje fynd, en PDF och omtester för att verifiera dina åtgärder.

Läs mer om vår SEO-rapport