Nástroj zdarma: SEO

Kontrola robots.txt

Stáhneme váš robots.txt a přečteme ho tak, jak to dělají crawlery, podle RFC 9309. Uvidíte, zda smí Googlebot procházet zadanou stránku, zda je blokovaný celý web, které AI crawlery vaše pravidla povolují a které sitemapy soubor uvádí.

Zdarma. Zkontroluje zadanou adresu zhruba za 20 sekund.

Co tento nástroj kontroluje

  • Soubor a jeho stav

    Vyžádáme /robots.txt z originu adresy, kterou zadáte (stejné schéma, host a port), a ukážeme stavový kód HTTP a soubor tak, jak ho server vrací.

  • Skupiny vyhodnocené jako crawler

    Pravidla jsou seskupená podle User-agent. Crawler se řídí skupinou, která ho jmenuje, a skupinu * použije jen tehdy, když ho žádná skupina nejmenuje; obě nekombinuje.

  • Vítězí nejdelší shoda

    Uvnitř skupiny rozhoduje pravidlo Allow nebo Disallow s nejdelší odpovídající cestou a při shodě vyhrává Allow. * odpovídá libovolnému řetězci znaků a $ označuje konec URL.

  • Vaše stránka a Googlebot

    Zda smí Googlebot procházet přesně tu URL, kterou jste zadali, podle pravidel, která se na něj vztahují.

  • Blokování celého webu

    Zda mají všechny crawlery pokyn držet se mimo celý web.

  • AI crawlery

    Zda vaše pravidla blokují, nebo povolují GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider a Meta-ExternalAgent.

  • Řádky Sitemap

    Každý řádek Sitemap: v souboru, abyste si mohli ověřit, že crawlery míří na správnou sitemapu.

Co zkontrolovat nedokáže

  • Cokoli vynutit. robots.txt je žádost, kterou slušně se chovající crawlery dodržují a jiné ignorují. Chcete-li obsah udržet soukromý, dejte ho za přihlášení.
  • Říct vám, zda je stránka indexovaná. Blokovaná URL se ve vyhledávání může objevit, pokud na ni odkazují jiné stránky.
  • Ukázat, které crawlery váš web skutečně navštěvují nebo jak často. To najdete v protokolech serveru.
  • Přečíst soubory na jiných hostech, například na subdoméně nebo CDN. Každý host má vlastní robots.txt.
  • Pokrýt všechny crawlery. Seznam obsahuje široce používané AI crawlery a nové tokeny user-agent se objevují pravidelně.

Proč na tom záleží

robots.txt je první soubor, který většina crawlerů vyžádá, a jediný řádek může změnit, jak se prochází celý web. „Disallow: /“ pod „User-agent: *“, který zůstal z vývoje, zabrání vyhledávačům procházet cokoli. Pravidlo určené pro jednu složku, například „Disallow: /p“, zablokuje i /products a /pricing, protože pravidla porovnávají začátek cesty.

Soubor má dnes i druhou úlohu: říká AI firmám, jaký obsah smějí sbírat. Tokeny se liší podle účelu. OpenAI dokumentuje GPTBot pro sběr trénovacích dat a OAI-SearchBot pro hledání stránek, které se zobrazí ve vyhledávání ChatGPT. Google-Extended určuje, zda smí Google používat váš obsah pro své modely Gemini, aniž by se změnilo, jak web prochází Google Search. Zablokování jednoho tokenu neblokuje ostatní, proto u každého ověřte, zda odpovídá vašemu záměru.

Stavový kód je stejně důležitý jako obsah. Chybějící soubor (404) je neškodný: crawlery ho berou jako svolení procházet všechno. Chyba serveru je něco jiného. Podle dokumentace Googlu platí, že když robots.txt vrací chybu 5xx, Google prvních 12 hodin web neprochází a pak až 30 dní používá poslední kopii, kterou dokázal přečíst.

Jak číst výsledky

HTTP 200
Soubor byl nalezen a zobrazená pravidla jsou ta, která crawlery uplatňují.
HTTP 404 nebo jiný kód 4xx
robots.txt neexistuje, takže crawlery smějí procházet všechno. Pro mnoho webů je to v pořádku, pokud není potřeba nic vyloučit.
HTTP 5xx
Server soubor nedokázal vrátit. Google po tu dobu procházení pozastaví, proto nejdřív opravte chybu serveru.
Googlebot: povolen nebo blokován (allowed or blocked)
Zda smí Googlebot načíst URL, kterou jste zadali, podle vlastní skupiny, pokud ji soubor obsahuje, jinak podle skupiny *.
Celý web blokován
Všechny crawlery mají pokyn neprocházet žádnou cestu. Na testovacím webu je to očekávané; na živém webu téměř vždy jde o chybu.
AI crawlery: blokován nebo povolen (blocked or allowed)
Co vaše pravidla říkají u každého tokenu. „Povolen“ zahrnuje i případ, kdy pro daný crawler žádné pravidlo vůbec není.
Uvedené sitemapy
URL sitemap ze souboru. Každá by měla být úplná URL, která vrací funkční XML sitemapu.

Jak opravit nejčastější problémy

  • Celý web je blokovaný

    Odstraňte „Disallow: /“ ze skupiny „User-agent: *“, nebo nechte řádek Disallow prázdný, čímž povolíte vše. Pokud soubor generuje vaše platforma, zkontrolujte její nastavení viditelnosti ve vyhledávání a případnou šablonu robots.txt; v Shopify je to robots.txt.liquid v kódu šablony.

  • Pravidlo blokuje víc, než mělo

    Pravidla porovnávají začátek cesty. Pravidla pro složky ukončete lomítkem (Disallow: /private/) a pro přesný konec použijte $ (Disallow: /*.pdf$). Pak znovu zkontrolujte URL, na kterých vám záleží.

  • Googlebot ignoruje vaše pravidla pro *

    Když soubor obsahuje skupinu „User-agent: Googlebot“, Googlebot se řídí jen jí. Zkopírujte do jeho skupiny všechna pravidla, která má Googlebot dál dodržovat.

  • Odmítnutí trénování AI při zachování ve vyhledávání

    Přidejte skupinu pro každý trénovací crawler, například „User-agent: GPTBot“ a za ním „Disallow: /“, a totéž udělejte pro ClaudeBot, CCBot, Google-Extended a Applebot-Extended. Googlebot a Bingbot nechte být. O OAI-SearchBot, Claude-SearchBot a PerplexityBot rozhodněte zvlášť, protože pomáhají, aby se vaše stránky objevovaly v odpovědích vyhledávání těchto služeb.

  • Odstraňování stránek z Googlu pomocí robots.txt

    Disallow zastaví procházení, ne indexaci. Chcete-li stránku udržet mimo vyhledávání, povolte procházení a přidejte <meta name="robots" content="noindex">, nebo vraťte 404 či 410, pokud stránka už neexistuje. Nástroj Odstranění (Removals) v Search Console v naléhavých případech URL dočasně skryje.

Otázky k tomuto nástroji

Zabrání robots.txt AI firmám v používání mého obsahu?

Jen u crawlerů, které se ho rozhodnou dodržovat, a až od jejich příštího procházení. Neodstraní obsah, který byl shromážděn dřív, než jste pravidlo přidali.

Vyřadí zablokování Google-Extended můj web z Vyhledávání Google?

Ne. Google uvádí, že Google-Extended neovlivňuje zařazení ani pozice ve Vyhledávání Google. Určuje jen, zda smí Google používat váš obsah pro své modely Gemini; Googlebot web dál prochází jako dřív.

Je chybějící robots.txt problém?

Ne. Pokud /robots.txt vrací 404, crawlery předpokládají, že smějí procházet všechno. Soubor přidejte, když potřebujete crawlery držet mimo oblasti, jako jsou interní výsledky vyhledávání, nebo je nasměrovat na sitemapu.

Mohu pomocí robots.txt skrýt soukromé stránky?

Ne. Soubor je veřejný, takže když v něm uvedete soukromé cesty, upozorníte na ně. Soukromé stránky chraňte přihlášením a pro veřejné stránky, které mají zůstat mimo vyhledávání, použijte noindex.

Jak rychle Google změnu zaznamená?

Google obvykle ukládá robots.txt do mezipaměti až na 24 hodin, takže projevení změny může trvat zhruba den. Přehled robots.txt v Search Console ukazuje verzi, kterou Google naposledy načetl.

Zdroje

Související nástroje

Report oprav SEO ($69, jednorázově) vychází z úplného bezplatného skenu a přidává další stránky, změnu ke každému zjištění, PDF a opakované testy k ověření vašich oprav.

Co obsahuje Report oprav SEO