免费SEO工具

Robots.txt 检测工具

我们会获取您的 robots.txt，并按照 RFC 9309 像爬虫一样读取它。查看 Googlebot 能否抓取您输入的页面、整个网站是否被屏蔽、您的规则允许哪些 AI 爬虫，以及文件列出了哪些站点地图。

免费。约 20 秒即可检查您输入的地址。

此工具检查什么

  • 文件及其状态

    我们从您输入网址的源（相同的协议、主机和端口）请求 /robots.txt，并显示 HTTP 状态码和服务器返回的文件内容。

  • 像爬虫一样匹配规则组

    规则按 User-agent 分组。爬虫会遵循指名它的规则组，只有在没有规则组指名它时才使用 * 组；两者不会混用。

  • 最长匹配优先

    在同一规则组内，由匹配路径最长的 Allow 或 Disallow 规则决定结果，长度相同时 Allow 优先。* 匹配任意字符序列，$ 表示网址结尾。

  • 您的页面与 Googlebot

    根据适用于 Googlebot 的规则，它能否抓取您输入的确切网址。

  • 整站屏蔽

    是否要求所有爬虫都不得抓取整个网站。

  • AI 爬虫

    您的规则是屏蔽还是允许 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Applebot-Extended、CCBot、Bytespider 和 Meta-ExternalAgent。

  • Sitemap 行

    文件中的每一行 Sitemap:，方便您确认爬虫被引导到了正确的站点地图。

它无法检查什么

  • 无法强制执行任何规则。robots.txt 只是一种请求，守规矩的爬虫会遵守，其他爬虫则会无视。若要让内容保持私密，请将其放在登录之后。
  • 无法告诉您页面是否已被索引。被屏蔽的网址如果有其他页面链接到它，仍可能出现在搜索结果中。
  • 无法显示哪些爬虫实际访问了您的网站以及访问频率。这些信息在您的服务器日志中。
  • 无法读取其他主机上的文件，例如子域名或 CDN。每个主机都有自己的 robots.txt。
  • 无法涵盖所有爬虫。列表包含广泛使用的 AI 爬虫，而新的用户代理标识还在不断出现。

为什么重要

robots.txt 是大多数爬虫最先请求的文件，一行就可能改变整个网站的抓取方式。开发阶段遗留在“User-agent: *”下的“Disallow: /”，会让搜索引擎什么都不抓取。本想只针对一个文件夹的规则，例如“Disallow: /p”，也会屏蔽 /products 和 /pricing，因为规则匹配的是路径开头。

这个文件如今还承担第二项任务：告诉 AI 公司可以收集哪些内容。不同用途的标识各不相同。OpenAI 的文档说明，GPTBot 用于收集训练数据，OAI-SearchBot 用于查找可在 ChatGPT 搜索中显示的页面。Google-Extended 控制 Google 能否将您的内容用于其 Gemini 模型，而不会改变 Google 搜索的抓取方式。屏蔽一个标识并不会屏蔽其他标识，因此请逐一对照您的意图进行检查。

状态码与文件内容同样重要。文件不存在（404）不会造成问题：爬虫会视为允许抓取所有内容。服务器错误则不同。Google 的文档指出，当 robots.txt 返回 5xx 错误时，Google 会在最初 12 小时内停止抓取该网站，之后最多 30 天内使用它最后能读取到的副本。

如何解读结果

HTTP 200
已找到文件，显示的规则就是爬虫所采用的规则。
HTTP 404 或其他 4xx
没有 robots.txt，因此爬虫可以抓取所有内容。只要没有需要阻止抓取的内容，这对许多网站来说没有问题。
HTTP 5xx
服务器未能返回该文件。在此期间 Google 会暂停抓取，所以请先修复服务器错误。
Googlebot：允许或屏蔽
Googlebot 能否获取您输入的网址：如果文件中有 Googlebot 专属的规则组，则按该组判断，否则按 * 组判断。
整站被屏蔽
所有爬虫都被要求不得抓取任何路径。在测试环境中属于正常；在正式网站上则几乎总是错误。
AI 爬虫：屏蔽或允许
您的规则对每个标识的规定。“允许”也包括对该爬虫完全没有规则的情况。
列出的站点地图
文件中的站点地图网址。每个都应是完整网址，并返回可用的 XML 站点地图。

如何修复最常见的问题

  • 整个网站被屏蔽

    从“User-agent: *”规则组中删除“Disallow: /”，或者将 Disallow 行留空以允许抓取所有内容。如果文件由您的平台生成，请检查其搜索可见性设置和 robots.txt 模板；在 Shopify 上，就是主题代码中的 robots.txt.liquid。

  • 规则屏蔽的范围超出预期

    规则匹配的是路径开头。文件夹规则请以斜杠结尾（Disallow: /private/），需要匹配确切结尾时使用 $（Disallow: /*.pdf$）。然后再次检查对您重要的网址。

  • Googlebot 忽略了您的 * 规则

    当文件中有“User-agent: Googlebot”规则组时，Googlebot 只遵循该组。请把希望 Googlebot 继续遵守的每条规则都复制到它自己的规则组中。

  • 拒绝 AI 训练，同时保留在搜索中

    为每个训练用爬虫添加一个规则组，例如“User-agent: GPTBot”后接“Disallow: /”，并对 ClaudeBot、CCBot、Google-Extended 和 Applebot-Extended 做同样的设置。不要改动 Googlebot 和 Bingbot。OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 有助于您的页面出现在这些服务的搜索回答中，请另行决定是否屏蔽。

  • 用 robots.txt 将页面从 Google 中移除

    Disallow 阻止的是抓取，而不是索引。若要让页面不出现在搜索中，请允许抓取并添加 <meta name="robots" content="noindex">；如果页面已不存在，则返回 404 或 410。紧急情况下，可以使用 Search Console 的“移除”工具暂时隐藏某个网址。

关于此工具的问题

robots.txt 能阻止 AI 公司使用我的内容吗？

只对选择遵守它的爬虫有效，而且只从它们下一次抓取时开始生效。它不会删除您添加规则之前已被收集的内容。

屏蔽 Google-Extended 会让我的网站从 Google 搜索中消失吗？

不会。Google 表示，Google-Extended 不影响网站能否被 Google 搜索收录及其排名。它只控制 Google 能否将您的内容用于其 Gemini 模型；Googlebot 会照常抓取。

没有 robots.txt 是问题吗？

不是。如果 /robots.txt 返回 404，爬虫会认为可以抓取所有内容。当您需要阻止爬虫进入站内搜索结果等区域，或要为它们指明站点地图时，再添加这个文件。

可以用 robots.txt 隐藏私密页面吗？

不可以。这个文件是公开的，把私密路径列在里面反而等于公之于众。请用登录保护私密页面，对不应出现在搜索中的公开页面则使用 noindex。

Google 多久会注意到更改？

Google 通常会将 robots.txt 缓存最多 24 小时，因此更改可能需要大约一天才会生效。Search Console 中的 robots.txt 报告会显示 Google 最近一次获取的版本。

来源

相关工具

SEO 修复报告（$69，一次性）以完整的免费扫描为起点，增加更多页面、每项发现需要做的修改、PDF 以及验证修复的复测。

了解SEO 修复报告