llms.txt 是一个放在网站根路径（
https://你的域名/llms.txt）、采用 Markdown 格式的「网站说明书」，用简洁、结构化的方式告诉大语言模型（LLM）：这个网站是谁、提供什么、哪些页面最值得阅读。
一、llms.txt 的由来
llms.txt 于 2024 年 9 月由 Answer.AI 创始人 Jeremy Howard 作为开放提案提出。它要解决的问题很实际：AI 助手访问一个网站时，往往需要抓取大量页面才能拼出对站点的完整理解，成本高且容易遗漏；llms.txt 相当于给 AI 留了一张「入口摘要」，一次抓取即可获得站点的全景索引。
目前 Perplexity、Anthropic 文档站等大量开发者导向的网站已部署 llms.txt，它正在成为 AI 时代网站配置的事实标准之一。与之配套的可选文件 llms-full.txt 用于提供站点的完整内容版本，适合内容量适中的站点。
二、文件格式与语法
一个规范的 llms.txt 由四个要素构成：
- H1 网站名称：文件第一行的最大标题。
- blockquote 概括：紧跟其后的一段引用块，一两句话说清「网站是什么、为谁提供什么」。
- 若干 H2 小节：按主题分组，如「核心服务」「文档」「政策」等。
- 链接列表：每行一个
- [标题](URL): 一句话说明，说明这个页面为什么值得读。
下面是本站（geo.aisoj.com）实际部署的 llms.txt 的节选，可直接作为模板参考：
# 爱索GEO
> 爱索GEO（洛阳夏冰软件技术有限公司）是生成式引擎优化（GEO）服务商，
> 帮助品牌在 ChatGPT、豆包、Kimi、DeepSeek 等 AI 搜索中被准确引用。
## 核心服务
- [品牌检测](https://geo.aisoj.com/services/geo-audit/): 检测品牌在主流 AI 平台的可见性、可信度与排名
- [网站检测](https://geo.aisoj.com/services/site-detection/): AI 爬虫放行、llms.txt 等 20+ 检查项技术体检
## 知识库
- [什么是 GEO](https://geo.aisoj.com/knowledge/what-is-geo/): GEO 的定义、机制与四大支柱
- [llms.txt 配置指南](https://geo.aisoj.com/knowledge/llms-txt-guide/): 语法、示例与常见误区按上面的四要素填表即可自动生成：爱索GEO提供免费的llms.txt 生成器，填好站名、一句话简介与核心页面分组，实时预览、一键复制。部署后可用GEO 就绪度检测验证文件是否可被正常抓取与解析。
三、llms.txt、robots.txt、sitemap.xml 的区别
三个文件各司其职，不能互相替代：
| 文件 | 面向对象 | 作用 | 性质 |
|---|---|---|---|
| robots.txt | 所有爬虫 | 声明允许 / 禁止抓取的路径 | 事实标准，主流爬虫普遍遵守 |
| sitemap.xml | 搜索引擎 | 列出全部页面 URL 与更新时间 | 事实标准 |
| llms.txt | 大语言模型 / AI 助手 | 用自然语言 + 结构化链接概括站点内容 | 自愿采纳的提案标准 |
三者是递进关系：robots.txt 决定「能不能进来」，sitemap.xml 决定「有哪些页面」，llms.txt 决定「最先该读什么、怎么理解这个站」。
四、常见误区
- 把 llms.txt 当关键词堆砌文件：它是「导读」而不是 meta keywords。堆砌无关关键词不仅无效，还会降低 AI 对站点可信度的判断。
- 以为写了就保证被引用：llms.txt 只是降低 AI 的理解成本，内容本身的质量与权威性才是能否被引用的根本。
- 忘记配合 robots 放行：如果 GPTBot、ClaudeBot 等 AI 爬虫在 robots.txt 里被禁止，llms.txt 根本抓不到。放行清单见《AI 爬虫放行清单》。
- 链接指向纯 JS 渲染的页面：AI 拿不到浏览器执行 JS 之后的内容，链接等于白给。目标页面必须服务端输出完整 HTML。
五、如何验证部署是否生效
- 浏览器直接访问
https://你的域名/llms.txt，应返回 200 且内容为纯 Markdown 文本（Content-Type 为text/plain或text/markdown）。 - 检查文件编码为 UTF-8 无 BOM，避免内容开头的不可见字节。
- 逐个点击文件中的链接，确认全部可访问且内容与说明一致。
- 用爱索GEO的网站检测自动检查 llms.txt 的存在性与格式，并连同 AI 爬虫放行、结构化数据等 20 余项一起体检。
常见问题
llms.txt 对 SEO 有帮助吗？
它是为 AI 而非搜索引擎设计的，搜索引擎不会把它当作排名因素。但它能提升 AI 助手与生成式引擎对你站点的理解效率，间接帮助你在 AI 答案中获得引用——这正是 GEO 的目标。
llms-full.txt 是必须的吗？
不是，完全可选。llms.txt 本身是「索引」，llms-full.txt 是「全文」。内容量大、结构复杂的站点可以先只做 llms.txt；如果希望 AI 一次性拿到全部正文（例如文档站），再补充 llms-full.txt。
网站页面很多，llms.txt 要列多少链接？
建议只列「最值得 AI 阅读的核心页面」，通常 10–30 个：首页、核心服务/产品页、关键文档、重要的知识内容。它的价值在于筛选与导读，不是穷举——穷举是 sitemap.xml 的职责。