robots.txt 在线生成器
勾选要屏蔽的爬虫即可生成规范的 robots.txt。内置 GPTBot、ClaudeBot、PerplexityBot 等 14 个 AI 爬虫独立开关，一键切换「屏蔽训练型、保留检索型」等预设。全部在浏览器本地完成，无需注册。
AI 爬虫（14 个）
勾选 = 屏蔽该爬虫；不勾 = 放行（不生成规则，默认允许）。训练型用于大模型训练，检索型用于 AI 搜索答案。
全站规则与 sitemap
生成结果
将文件放到网站根目录，确保 https://你的域名/robots.txt 可访问。修改已被屏蔽的爬虫规则后，各平台会在后续抓取时重新读取。
robots.txt 与 AI 时代
robots.txt 是放在网站根目录、告诉各类爬虫「哪些路径可以抓、哪些不可以」的协议文件。传统上它只面向搜索引擎；进入 AI 时代后，ChatGPT、Perplexity、Claude 等 AI 引擎都有各自的爬虫——如果你把它们屏蔽了，你的内容就不会出现在 AI 的答案里。这正是 GEO（生成式引擎优化）的第一道生死线。
很多站点的 robots.txt 是几年前用通用工具生成的，只照顾了 Googlebot / 百度蜘蛛，从没考虑过 AI 爬虫。用本工具可以逐个检查 14 个主流 AI 爬虫的放行状态，明确做出「放行 / 屏蔽」的决策。完整的爬虫清单与背景知识见《AI 爬虫有哪些？robots.txt 放行清单》；不确定自己网站现在的放行状态？先用网站 GEO 就绪度检测一键体检。
常见问题
生成的 robots.txt 放在哪里？
上传到网站根目录，保持文件名 robots.txt，最终可通过 https://你的域名/robots.txt 直接访问。修改后一般数天内生效。
训练型和检索型 AI 爬虫有什么区别？
训练型爬虫（GPTBot、ClaudeBot、Google-Extended、CCBot 等）抓内容用于训练大模型；检索型爬虫（OAI-SearchBot、PerplexityBot、ChatGPT-User 等）抓内容用于 AI 搜索的实时答案。只想出现在 AI 答案中、不想被拿去训练的站点，可用「屏蔽训练型，保留检索型」预设。
robots.txt 是强制的吗？
不是法律意义上的强制，而是行业普遍遵守的共识协议。OpenAI、Anthropic、Google、Perplexity 等主流平台都公开承诺遵守 robots.txt；对个别不守规矩的抓取方，需在防火墙层按 UA 或 IP 拦截。