Ilmainen työkalu: SEO

Robots.txt-tarkistus

Haemme robots.txt-tiedostosi ja luemme sen niin kuin hakurobotit, RFC 9309 -standardin mukaisesti. Näe, saako Googlebot käydä läpi syöttämäsi sivun, onko koko sivusto estetty, mitä tekoälybotteja sääntösi sallivat ja mitä sivukarttoja tiedosto listaa.

Ilmainen. Tarkistaa antamasi osoitteen noin 20 sekunnissa.

Mitä tämä työkalu tarkistaa

  • Tiedosto ja sen tila

    Pyydämme /robots.txt-tiedoston syöttämäsi osoitteen alkuperästä (origin: sama protokolla, isäntä ja portti) ja näytämme HTTP-tilan sekä tiedoston sellaisena kuin palvelin sen tarjoaa.

  • Ryhmät hakurobotin tavoin

    Säännöt ryhmitellään User-agent-rivien mukaan. Hakurobotti noudattaa ryhmää, joka nimeää sen, ja käyttää *-ryhmää vain, jos mikään ryhmä ei nimeä sitä; se ei yhdistele näitä kahta.

  • Pisin vastaavuus ratkaisee

    Ryhmän sisällä ratkaisee se Allow- tai Disallow-sääntö, jonka vastaava polku on pisin, ja tasatilanteessa Allow voittaa. * vastaa mitä tahansa merkkijonoa ja $ merkitsee URL-osoitteen loppua.

  • Sivusi ja Googlebot

    Saako Googlebot käydä läpi täsmälleen syöttämäsi URL-osoitteen siihen sovellettavien sääntöjen mukaan.

  • Koko sivuston estot

    Kehotetaanko kaikkia hakurobotteja pysymään poissa koko sivustolta.

  • Tekoälybotit

    Estävätkö vai sallivatko sääntösi GPTBotin, OAI-SearchBotin, ChatGPT-Userin, ClaudeBotin, Claude-SearchBotin, PerplexityBotin, Google-Extendedin, Applebot-Extendedin, CCBotin, Bytespiderin ja Meta-ExternalAgentin.

  • Sitemap-rivit

    Jokainen tiedoston Sitemap:-rivi, jotta voit varmistaa, että hakurobotit ohjataan oikeaan sivukarttaan.

Mitä se ei voi tarkistaa

  • Pakottaa mitään. robots.txt on pyyntö, jota asiallisesti toimivat hakurobotit noudattavat ja muut eivät. Jos haluat pitää sisällön yksityisenä, sijoita se kirjautumisen taakse.
  • Kertoa, onko sivu indeksoitu. Estetty URL voi silti näkyä haussa, jos muut sivut linkittävät siihen.
  • Näyttää, mitkä hakurobotit todella käyvät sivustollasi tai kuinka usein. Sen kertovat palvelimesi lokit.
  • Lukea muiden isäntien tiedostoja, kuten aliverkkotunnuksen tai CDN:n. Jokaisella isännällä on oma robots.txt-tiedostonsa.
  • Kattaa jokaista hakurobottia. Luettelossa ovat laajasti käytetyt tekoälybotit, ja uusia user-agent-tunnisteita ilmestyy säännöllisesti.

Miksi sillä on merkitystä

robots.txt on ensimmäinen tiedosto, jonka useimmat hakurobotit pyytävät, ja yksi rivi voi muuttaa koko sivuston läpikäyntiä. Kehitysvaiheesta jäänyt ”Disallow: /” ryhmässä ”User-agent: *” estää hakukoneita käymästä läpi mitään. Yhdelle kansiolle tarkoitettu sääntö, kuten ”Disallow: /p”, estää myös polut /products ja /pricing, koska säännöt vertaavat polun alkua.

Tiedostolla on nykyään toinenkin tehtävä: kertoa tekoälyyhtiöille, mitä sisältöä ne saavat kerätä. Tunnisteet vaihtelevat käyttötarkoituksen mukaan. OpenAI dokumentoi GPTBotin koulutusdatan keräämiseen ja OAI-SearchBotin sivujen löytämiseen ChatGPT-hakua varten. Google-Extended määrää, saako Google käyttää sisältöäsi Gemini-malleihinsa, muuttamatta sitä, miten Google-haku käy sivustoa läpi. Yhden tunnisteen estäminen ei estä muita, joten tarkista jokainen sen mukaan, mitä tavoittelet.

Tilakoodi on yhtä tärkeä kuin sisältö. Puuttuva tiedosto (404) on harmiton: hakurobotit tulkitsevat sen luvaksi käydä läpi kaiken. Palvelinvirhe on eri asia. Googlen dokumentaation mukaan, kun robots.txt palauttaa 5xx-virheen, Google lopettaa sivuston läpikäynnin ensimmäisten 12 tunnin ajaksi ja käyttää sitten viimeisintä lukemaansa versiota enintään 30 päivän ajan.

Miten tuloksia luetaan

HTTP 200
Tiedosto löytyi, ja näytetyt säännöt ovat niitä, joita hakurobotit soveltavat.
HTTP 404 tai muu 4xx
robots.txt-tiedostoa ei ole, joten hakurobotit saavat käydä läpi kaiken. Se sopii monille sivustoille, kunhan mitään ei tarvitse rajata pois.
HTTP 5xx
Palvelin ei pystynyt palauttamaan tiedostoa. Google keskeyttää läpikäynnin niin kauan kuin tilanne jatkuu, joten korjaa palvelinvirhe ensin.
Googlebot: sallittu tai estetty (allowed or blocked)
Saako Googlebot hakea syöttämäsi URL-osoitteen: oman ryhmänsä mukaan, jos tiedostossa on sellainen, muuten *-ryhmän mukaan.
Koko sivusto estetty
Kaikkia hakurobotteja kehotetaan olemaan käymättä missään polussa. Odotettavaa testiympäristössä; julkaistulla sivustolla lähes aina virhe.
Tekoälybotit: estetty tai sallittu (blocked or allowed)
Mitä sääntösi sanovat kustakin tunnisteesta. ”Sallittu” (allowed) kattaa myös tilanteen, jossa kyseiselle botille ei ole sääntöä lainkaan.
Listatut sivukartat
Tiedoston sivukarttojen URL-osoitteet. Jokaisen pitäisi olla täydellinen URL, joka palauttaa toimivan XML-sivukartan.

Miten yleisimmät ongelmat korjataan

  • Koko sivusto on estetty

    Poista ”Disallow: /” ryhmästä ”User-agent: *” tai jätä Disallow-rivi tyhjäksi, jolloin kaikki sallitaan. Jos alustasi luo tiedoston, tarkista sen hakukonenäkyvyyden asetukset ja mahdollinen robots.txt-pohja; Shopifyssa se on teeman koodissa oleva robots.txt.liquid.

  • Sääntö estää enemmän kuin oli tarkoitus

    Säännöt vertaavat polun alkua. Päätä kansiosäännöt kauttaviivaan (Disallow: /private/) ja käytä $-merkkiä täsmällisen lopun vertaamiseen (Disallow: /*.pdf$). Tarkista sitten sinulle tärkeät URL-osoitteet uudelleen.

  • Googlebot ohittaa *-sääntösi

    Kun tiedostossa on ”User-agent: Googlebot” -ryhmä, Googlebot noudattaa vain sitä. Kopioi jokainen sääntö, jonka haluat Googlebotin noudattavan, sen omaan ryhmään.

  • Kieltäytyminen tekoälykoulutuksesta hakunäkyvyys säilyttäen

    Lisää ryhmä jokaiselle koulutusdataa keräävälle botille, esimerkiksi ”User-agent: GPTBot” ja sen perään ”Disallow: /”, ja tee samoin ClaudeBotille, CCBotille, Google-Extendedille ja Applebot-Extendedille. Jätä Googlebot ja Bingbot ennalleen. Päätä erikseen OAI-SearchBotista, Claude-SearchBotista ja PerplexityBotista, jotka auttavat sivujasi näkymään näiden palvelujen hakuvastauksissa.

  • robots.txt-tiedoston käyttäminen sivujen poistamiseen Googlesta

    Disallow estää läpikäynnin (crawling), ei indeksointia. Jos haluat pitää sivun poissa hausta, salli läpikäynti ja lisää <meta name="robots" content="noindex">, tai palauta 404 tai 410, jos sivu on poistettu. Search Consolen Poistot-työkalu (Removals) piilottaa URL-osoitteen tilapäisesti kiireellisissä tapauksissa.

Kysymyksiä tästä työkalusta

Estääkö robots.txt tekoälyyhtiöitä käyttämästä sisältöäni?

Vain niiden hakurobottien osalta, jotka päättävät noudattaa sitä, ja vasta niiden seuraavasta käynnistä alkaen. Se ei poista sisältöä, joka kerättiin ennen kuin lisäsit säännön.

Poistaako Google-Extendedin estäminen sivustoni Google-hausta?

Ei. Googlen mukaan Google-Extended ei vaikuta Google-hakuun pääsyyn eikä sijoituksiin. Se määrää vain, saako Google käyttää sisältöäsi Gemini-malleihinsa; Googlebot jatkaa läpikäyntiä kuten ennenkin.

Onko puuttuva robots.txt ongelma?

Ei. Jos /robots.txt palauttaa 404:n, hakurobotit olettavat saavansa käydä läpi kaiken. Lisää tiedosto, kun haluat pitää hakurobotit poissa esimerkiksi sisäisistä hakutuloksista tai ohjata ne sivukarttaasi.

Voinko piilottaa yksityisiä sivuja robots.txt-tiedostolla?

Et. Tiedosto on julkinen, joten yksityisten polkujen listaaminen siinä mainostaa niitä. Suojaa yksityiset sivut kirjautumisella ja käytä noindexiä julkisille sivuille, joiden pitää pysyä poissa hausta.

Kuinka nopeasti Google huomaa muutoksen?

Google pitää robots.txt-tiedostoa yleensä välimuistissa enintään 24 tuntia, joten muutoksen voimaantulo voi kestää noin vuorokauden. Search Consolen robots.txt-raportti näyttää version, jonka Google on viimeksi hakenut.

Lähteet

Aiheeseen liittyvät työkalut

SEO-raportti ($69, kertamaksu) jatkaa täydestä ilmaisesta skannauksesta ja lisää sivuja, jokaisen havainnon vaatiman muutoksen, PDF-tiedoston ja uusintatestit korjaustesi varmistamiseen.

Lue lisää: SEO-raportti