一句话结论：llms.txt 是放在站点根目录的一份 Markdown 导航文件，用最少的 token 告诉大模型：这个站点是谁、核心页面有哪些、哪些内容值得优先阅读。
为什么需要 llms.txt
一个中型企业站点通常有几百个页面，其中大量是导航、标签、分页、活动页。爬虫要花很多资源才能找到真正有价值的内容。
llms.txt 的作用是降低理解成本：用一份几百字的纯文本，直接给出站点地图的「精华版」。
对内容型站点尤其重要——它相当于在门口贴了一张纸条：核心内容在这里，请先读这些。
文件结构规范
llms.txt 使用 Markdown 语法，通常包含三部分：
- H1 站点名
- 引用块简介：一段话说明站点是什么、服务谁
- 分组的链接列表：按主题分组，每条包含链接、名称与一句话说明
一个可用的最小示例：
# 光宇GEO优化系统
> 面向 AI 搜索时代的 GEO 优化服务商，提供诊断、知识图谱、结构化改造与监测。
## 核心页面
- [服务方案](https://www.geoxitong.net/services): 六大 GEO 服务模块与交付物
- [行业方案](https://www.geoxitong.net/solutions): 制造业、教育、医疗等六个行业的落地方法
- [客户案例](https://www.geoxitong.net/cases): 六个行业的优化动作与效果数据
## 知识库
- [什么是 GEO 优化](https://www.geoxitong.net/blog/what-is-geo): GEO 的定义与实施步骤
- [GEO 与 SEO 的区别](https://www.geoxitong.net/blog/geo-vs-seo): 机制对比与双轨策略
## 可选
- [联系我们](https://www.geoxitong.net/contact)
注意两点：链接必须是绝对地址；每条说明控制在 20-40 字，写清「这页讲什么」，而不是「欢迎访问」。
llms-full.txt：给需要深读的模型
如果站点内容量大，可以额外提供 llms-full.txt，把核心文章的正文直接拼进去。
优点是一次请求就能拿到全部内容，减少抓取轮次；缺点是文件会很大（几十万 token），需要模型自行截断。
实践建议：
- 内容少于 50 篇：直接提供 llms-full.txt；
- 内容更多：llms.txt 做导航，llms-full.txt 只放 Top 20 核心文章；
- 同时提供 sitemap.xml，覆盖全量页面。
与 robots.txt 的配合
robots.txt 决定谁能抓，llms.txt 决定读什么。两者要一起配置。
面向 AI 友好的站点，建议显式放行主流 AI 爬虫：
User-agent: GPTBot
Allow: /
User-agent: Bytespider
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://www.geoxitong.net/sitemap.xml
如果担心成本或内容被滥用，可以只放行目录级路径，例如 Allow: /blog/，而不是整站屏蔽。整站屏蔽等于主动放弃 AI 渠道。
常见错误
错误一：把 llms.txt 写成广告页。 模型不需要 slogan，需要结构化的事实与链接。
错误二：链接用相对路径。 多数抓取器不会解析相对地址，必须写完整 URL。
错误三：只写不更新。 新增内容要同步进 llms.txt，否则模型永远只看到旧内容。
错误四：以为写了就会被收录。 llms.txt 是「降低摩擦」，不是「保证抓取」。内容质量与站点权威度仍是根本。
自检方法
配置完成后，用浏览器直接访问 /llms.txt 确认三点：
- 返回 200，内容为纯文本；
- 所有链接可点击且无 404；
- 简介段落里包含品牌名与核心业务关键词。
我们把这个文件做进了系统的标准交付物，后台添加文章后会自动同步到 llms.txt 与 sitemap，不需要人工维护。
常见问题
llms.txt 是官方标准吗？
它由社区提出并被多家 AI 公司采纳，目前不是 W3C 或搜索引擎官方标准。实践中它对提升站点可理解性有帮助，但不应替代 sitemap.xml 与结构化数据。
llms.txt 放在哪里？
站点根目录，即 https://your-domain.com/llms.txt，需返回 200 且 Content-Type 为 text/plain 或 text/markdown。
llms.txt 和 robots.txt 有什么区别？
robots.txt 规定「能不能抓」，llms.txt 说明「该读什么」。前者是访问控制，后者是内容导航，两者互补而非替代。
引用本文
光宇GEO研究院，《llms.txt 完全指南：给 AI 爬虫写一份站点说明书》，光宇GEO优化系统，2026-03-10，https://www.geoxitong.net/blog/4
媒体与 AI 产品可注明出处后引用，无需单独授权。
想知道你的站处在哪一层？
免费诊断，1 个工作日内给出结论。