無料のSEOツール

robots.txtチェッカー

robots.txtを取得し、RFC 9309に従ってクローラーと同じ方法で読み取ります。入力したページをGooglebotがクロールできるか、サイト全体がブロックされていないか、ルールがどのAIクローラーを許可しているか、ファイルにどのサイトマップが記載されているかを確認できます。

無料。入力したアドレスを約20秒で確認します。

このツールで確認する項目

  • ファイルとそのステータス

    入力したURLのオリジン（同じスキーム、ホスト、ポート）から/robots.txtをリクエストし、HTTPステータスと、配信されたとおりのファイルの内容を表示します。

  • クローラーと同じグループの判定

    ルールはUser-agentごとにグループ化されています。クローラーは自分の名前が記載されたグループに従い、該当するグループがない場合にだけ*グループを使います。両者を組み合わせることはありません。

  • 最も長く一致するルールを優先

    グループ内では、一致するパスが最も長いAllowまたはDisallowのルールが優先され、同じ長さの場合はAllowが優先されます。*は任意の文字列に一致し、$はURLの末尾を表します。

  • 入力したページとGooglebot

    Googlebotに適用されるルールのもとで、入力した正確なURLをGooglebotがクロールできるかどうかです。

  • サイト全体のブロック

    すべてのクローラーに対して、サイト全体に立ち入らないよう指示していないかどうかです。

  • AIクローラー

    ルールが、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgentをブロックしているか、許可しているかです。

  • Sitemap行

    ファイル内のすべてのSitemap:行です。クローラーが正しいサイトマップを参照しているかを確認できます。

確認できないこと

  • 何かを強制することはできません。robots.txtは、行儀のよいクローラーは従い、そうでないクローラーは無視するお願いにすぎません。コンテンツを非公開にするには、ログインの内側に置いてください。
  • ページがインデックスに登録されているかどうかはわかりません。ブロックされたURLでも、他のページからリンクされていれば検索結果に表示されることがあります。
  • どのクローラーが実際にサイトを訪れているか、その頻度は示せません。それはサーバーログで確認できます。
  • サブドメインやCDNなど、他のホストにあるファイルは読み取れません。robots.txtはホストごとに存在します。
  • すべてのクローラーを網羅することはできません。一覧には広く使われているAIクローラーが含まれていますが、新しいユーザーエージェントのトークンは次々に登場しています。

なぜ重要なのか

robots.txtは多くのクローラーが最初にリクエストするファイルで、1行でサイト全体のクロールのされ方が変わることがあります。開発時から残った「User-agent: *」の下の「Disallow: /」は、検索エンジンのクロールを完全に止めてしまいます。また、ルールはパスの先頭から一致するため、1つのフォルダ向けのつもりの「Disallow: /p」のようなルールは、/productsや/pricingもブロックしてしまいます。

このファイルには現在、AI企業がどのコンテンツを収集してよいかを伝えるという2つ目の役割もあります。トークンは目的によって異なります。OpenAIは、学習データの収集用としてGPTBotを、ChatGPT検索に表示するページを見つけるためのものとしてOAI-SearchBotを公開しています。Google-Extendedは、Google検索のクロール方法を変えずに、GoogleがGeminiモデルにコンテンツを使用できるかどうかを制御します。1つのトークンをブロックしても他のトークンはブロックされないため、それぞれを意図と照らし合わせて確認してください。

ステータスコードは内容と同じくらい重要です。ファイルがない（404）のは問題ありません。クローラーは、すべてをクロールしてよいと解釈します。サーバーエラーは別です。Googleのドキュメントによると、robots.txtが5xxエラーを返すと、Googleは最初の12時間はサイトのクロールを停止し、その後は最大30日間、最後に読み取れたコピーを使用します。

結果の読み方

HTTP 200
ファイルが見つかりました。表示されているルールが、クローラーが適用するルールです。
HTTP 404またはその他の4xx
robots.txtがないため、クローラーはすべてをクロールできます。除外すべきものがなければ、多くのサイトではこれで問題ありません。
HTTP 5xx
サーバーがファイルを返せませんでした。この状態が続く間、Googleはクロールを一時停止するため、まずサーバーエラーを修正してください。
Googlebot：許可またはブロック
入力したURLをGooglebotが取得できるかどうかです。ファイルにGooglebot専用のグループがあればそのグループ、なければ*グループのルールで判定します。
サイト全体がブロック
すべてのクローラーに対して、どのパスもクロールしないよう指示しています。ステージングサイトでは想定どおりですが、本番サイトではほぼ間違いなくミスです。
AIクローラー：ブロックまたは許可
トークンごとに、ルールがどう指定しているかを示します。そのクローラーに対するルールがまったくない場合も「許可」に含まれます。
記載されたサイトマップ
ファイルに記載されたサイトマップのURLです。それぞれが、正常に動作するXMLサイトマップを返す完全なURLである必要があります。

よくある問題の修正方法

  • サイト全体がブロックされている

    「User-agent: *」グループから「Disallow: /」を削除するか、Disallow行を空にしてすべてを許可します。プラットフォームがファイルを生成している場合は、検索エンジンでの表示に関する設定と、robots.txtのテンプレートを確認してください。Shopifyでは、テーマコード内のrobots.txt.liquidです。

  • ルールが意図より多くをブロックしている

    ルールはパスの先頭から一致します。フォルダのルールはスラッシュで終え（Disallow: /private/）、末尾を正確に一致させるには$を使います（Disallow: /*.pdf$）。その後、重要なURLをもう一度確認してください。

  • Googlebotが*のルールを無視する

    ファイルに「User-agent: Googlebot」グループがあると、Googlebotはそのグループだけに従います。Googlebotにも守らせたいルールは、すべてそのグループにコピーしてください。

  • 検索には表示しつつ、AIの学習を拒否する

    学習用クローラーごとにグループを追加します。たとえば「User-agent: GPTBot」の後に「Disallow: /」と記述し、ClaudeBot、CCBot、Google-Extended、Applebot-Extendedにも同じように設定します。GooglebotとBingbotはそのままにします。OAI-SearchBot、Claude-SearchBot、PerplexityBotは、それぞれのサービスの検索回答にページが表示されるのに役立つため、別途判断してください。

  • robots.txtでGoogleからページを削除しようとしている

    Disallowが止めるのはクロールであり、インデックス登録ではありません。ページを検索結果に表示させたくない場合は、クロールを許可したうえで<meta name="robots" content="noindex">を追加するか、ページが削除済みなら404または410を返します。緊急の場合は、Search Consoleの「削除」ツールで一時的にURLを非表示にできます。

このツールに関するご質問

robots.txtで、AI企業によるコンテンツの利用を止められますか？

それに従うことを選んだクローラーに対してのみ、しかも次回のクロール以降に限られます。ルールを追加する前に収集されたコンテンツが削除されるわけではありません。

Google-Extendedをブロックすると、サイトがGoogle検索から消えますか？

いいえ。Googleによると、Google-ExtendedはGoogle検索への掲載や掲載順位に影響しません。制御するのは、GoogleがGeminiモデルにコンテンツを使用できるかどうかだけで、Googlebotはこれまでどおりクロールを続けます。

robots.txtがないと問題ですか？

いいえ。/robots.txtが404を返す場合、クローラーはすべてをクロールしてよいとみなします。サイト内検索の結果ページなど、クローラーを入れたくない領域がある場合や、サイトマップの場所を伝えたい場合に追加してください。

robots.txtで非公開ページを隠せますか？

いいえ。このファイルは公開されているため、非公開のパスを記載すると、かえってその存在を知らせることになります。非公開ページはログインで保護し、検索結果に表示させたくない公開ページにはnoindexを使ってください。

変更がGoogleに反映されるまで、どれくらいかかりますか？

Googleは通常、robots.txtを最大24時間キャッシュするため、変更の反映には1日ほどかかることがあります。Search Consoleのrobots.txtレポートで、Googleが最後に取得したバージョンを確認できます。

出典

関連ツール

SEO改善レポート（$69、1回払い）は、無料スキャン全体を出発点に、追加のページ、すべての指摘に対する変更内容、PDF、修正を検証する再テストを加えます。

SEO改善レポートについて