AI 爬虫是各 AI 平台用来抓取网页的自动化程序：一部分为模型训练服务，一部分为 AI 搜索的实时检索服务。做 GEO 的第一步，就是确认这些爬虫能顺利抓到你的网站——放行了 Googlebot，不等于放行了 GPTBot。
一、为什么普通 robots 配置可能「误伤」AI
robots.txt 按 User-Agent 匹配规则，而 AI 爬虫的 UA 与普通搜索爬虫完全不同。常见的误伤场景有两种：一是站点模板的通用规则里带有较多 Disallow，AI 爬虫同样受限；二是曾经针对某些爬虫做过限制，后来忘了放开。结果是：搜索引擎收录一切正常，但 AI 平台对你站点的理解严重滞后甚至空白——而且表面上没有任何报错。
二、主流 AI 爬虫清单
| User-Agent | 归属平台 | 主要用途 |
|---|---|---|
| GPTBot | OpenAI | 模型训练语料抓取 |
| OAI-SearchBot | OpenAI | ChatGPT 搜索的实时检索 |
| ChatGPT-User | OpenAI | 用户在 ChatGPT 中触发浏览 |
| ClaudeBot | Anthropic | 模型训练 |
| Claude-User | Anthropic | 用户触发浏览 |
| PerplexityBot | Perplexity | 检索与索引（答案引用来源） |
| Google-Extended | 控制 Gemini 训练（不影响 Google 搜索抓取） | |
| Googlebot | 传统搜索抓取，AI Overviews 的内容来源，必须放行 | |
| CCBot | Common Crawl | 开放网页数据集，众多模型训练语料的上游 |
| Bytespider | 字节跳动 | 豆包等产品的抓取 |
| Baiduspider | 百度 | 百度搜索抓取，文心一言检索来源 |
| meta-externalagent | Meta | Meta AI 相关抓取 |
| Applebot-Extended | Apple | Apple Intelligence 训练 |
| Amazonbot | Amazon | Alexa / Rufus 相关抓取 |
注意：这份清单持续变化，各平台也会调整 UA 命名与用途，部署前建议以各平台官方文档为准。
三、放行配置示例
下面是本站（geo.aisoj.com）实际使用的写法，可直接套用——先写通用规则，再为各 AI 爬虫显式声明 Allow，避免歧义：
User-agent: *
Allow: /
Disallow: /console/
Disallow: /manage/
# 生成式引擎 / AI 爬虫（GEO 关键，明确允许抓取）
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://你的域名/sitemap.xml两个细节：显式为每个 AI 爬虫单独声明，可以避免通用规则引发的解释歧义；别忘了末尾的 Sitemap 行，它帮爬虫一次性发现全部页面。
不想手写？用爱索GEO的免费robots.txt 生成器：内置 GPTBot、ClaudeBot、PerplexityBot 等 14 个 AI 爬虫独立开关，一键切换「屏蔽训练型、保留检索型」等预设，自动生成规范配置。部署后还可用GEO 就绪度检测验证放行状态。
四、常见坑
Disallow: /一刀切：等于对 AI 关门。若担心抓取压力，用更精确的路径级 Disallow，而不是全站封禁。- 只看 robots，不看防火墙：CDN / WAF（如 Cloudflare）可能默认拦截部分 AI 爬虫，robots.txt 放行了也进不来，需要在安全规则里单独放行。
- 屏蔽了训练爬虫却期待搜索引用：训练与检索是两组不同的 UA。不想被用于训练、但希望出现在 AI 搜索结果里，可以只放行
OAI-SearchBot、ChatGPT-User等检索型爬虫，屏蔽GPTBot、Google-Extended、CCBot等训练型爬虫。 - 从不验证：配置写完不等于生效，要定期确认爬虫真的来了（见下节）。
五、如何验证爬虫真的来了
- 服务器访问日志：按 User-Agent 过滤（如 grep
GPTBot），观察是否出现及频率。 - 检测工具：用爱索GEO的网站检测自动检查 robots.txt 对 14 个主流 AI 爬虫的放行状态，并连同 llms.txt、SSR、结构化数据等 20 余项一起体检。
- Google Search Console：确认 Googlebot 的抓取与索引正常（这是 AI Overviews 的内容基础）。
常见问题
放行 AI 爬虫会拖慢网站吗？
正常情况下影响很小——主流 AI 爬虫都遵守礼貌抓取规范，频率远低于普通搜索引擎爬虫。如果确实遇到异常高频抓取，优先在服务器或 CDN 层做速率限制，而不是全站封禁。
不想让内容被拿去训练，怎么办？
区分训练型与检索型爬虫，只 Disallow 训练型（GPTBot、ClaudeBot、Google-Extended、CCBot、Applebot-Extended 等），保留检索型（OAI-SearchBot、ChatGPT-User、Googlebot 等）。这样内容仍可出现在 AI 搜索答案中，但不进入模型训练语料。注意 robots.txt 是行业共识而非强制，个别抓取方可能不遵守。
robots.txt 是强制的吗？
不是法律意义上的强制，而是行业普遍遵守的共识协议。OpenAI、Anthropic、Google、Perplexity 等主流平台都公开承诺遵守 robots.txt；对少数不守规矩的抓取方，需要在防火墙层按 UA 或 IP 拦截。