llms.txt 里到底该放哪些页面?链接筛选标准与描述写法
很多人配 llms.txt 时卡在同一个问题:全站几百个页面,到底把哪些链接放进去? 放少了怕 AI 读不全,放多了怕稀释重点。这篇文章给你一套可直接执行的筛选标准、 一个"放哪些不放哪些"的对照表,以及链接描述的具体写法。生成文件直接用 llms.txt 生成器,筛选思路看这篇就够。
先理解 AI 读取 llms.txt 的方式
大模型抓取网站时不会"全量读完再判断",它通常先读 llms.txt 建立认知,再根据用户问题 去抓链表里的具体页面。这意味着:链表里的每个链接都是一次"被抓取的机会", 机会应该留给高价值页面。塞满低价值页面,等于让 AI 把有限的抓取预算浪费在无关内容上。
五条筛选标准
| 标准 | 判断方法 | 示例 |
|---|---|---|
| ① 独立价值 | 删掉它,站内信息会不会有缺口? | 产品页保留,纯跳转页删除 |
| ② 内容密度 | 页面是否有一手、原创、可引用的内容? | 文档/教程保留,空壳落地页删除 |
| ③ 更新频率 | 是否经常更新、值得 AI 重抓? | 博客与价格页保留,静态说明页可留可删 |
| ④ 商业相关 | 是否与用户的高频问题强相关? | FAQ、对比页保留 |
| ⑤ 稳定性 | URL 是否是永久地址、不缺参不漏参? | 保留规范 URL,带跟踪参数的删除 |
一条页面只要同时满足 ①+②,就应该放进去;③④⑤决定它的排序优先级。 拿不准页面取舍时,参考 llms.txt 实战案例拆解 里 Perplexity 的"精选"打法。
推荐放与不建议放对照表
| 推荐放 | 不建议放 |
|---|---|
| 首页(一句话介绍站点) | 隐私政策、条款页(除非有特殊检索价值) |
| 产品/服务核心页 | 登录页、会员中心等需鉴权页面 |
| FAQ / 帮助中心 | 搜索结果页、分类筛选页(带排序参数) |
| 深度教程/文档/案例 | 临时促销页、活动页(过期即失效) |
| 关于我们(建立信任) | 纯图片页、视频页(无文字可索引) |
特殊情况:如果是电商独立站,产品页选择要更精准,可参考 跨境电商独立站配置 llms.txt 的取舍。
链接描述怎么写:三种句式
规范允许裸链接,但带描述能显著提升 AI 的判断效率。推荐三种句式:
- 功能句:"在线 JSON 格式化与校验工具"——适合工具/功能页,直接用动宾结构。
- 价值句:"FBA 利润计算,帮卖家 30 秒算清毛利"——适合商业页,带收益点。
- 定位句:"了解我们在跨境物流领域的 8 年经验"——适合关于/案例页,建立信任。
## 工具 - [JSON 格式化工具](https://example.com/tools/json-format) - 在线格式化、压缩、校验 JSON - [FBA 利润计算器](https://example.com/tools/fba-profit) - 输入成本售价,30 秒算出毛利
注意描述要控制在 20-50 字内,说清楚"这是什么、有什么价值",不要写营销空话。
数量控制:多少条才合适
没有硬性上限,但按已上线站点(查询时间 2026-09-13)的普遍规律: 中小型站点 20-60 条比较合适,大型文档站可以到一两百条。判断标准是一句话: 每一条都有不可替代的价值。如果某条链接删掉后没有任何页面可以替补, 它就有资格保留;如果只是"顺手加上",建议删掉。
定期复筛:链接也要"新陈代谢"
llms.txt 配完不是一劳永逸。建议每季度复筛一次:新出的高价值页面加进来, 已失效或权重下降的页面移出去(线上有专门讲维护节奏的 llms.txt 更新与维护机制)。 删除页面时务必同步检查 llms.txt,避免给 AI 留死链。
描述文字怎么写才不被 AI 跳过
链接筛选定完后,描述是决定 AI 是否点击的第二道关。 两个常见毛病:一是把整段简介复制到每个链接上,二是写得像 SEO 堆砌。 正确做法是每条描述独立信息:讲清这个页面"具体回答什么问题"。
例如"JSON 格式化工具"的描述写"在线 JSON 格式化、校验与压缩,纯本地运行不上传数据" 就比"一款好用的 JSON 工具"有效得多。前者给了 AI 三个可匹配的语义点 (格式化、校验、本地运行),后者只有一个泛词。
描述长度建议 15-40 个汉字左右,太长会被截断、太短没有信息量。 写完后整体读一遍,如果 3 条以上描述可以互换位置而不违和, 说明描述写得不够具体,需要针对每个页面重写。
小结
筛选 llms.txt 链接的核心是记住四个字:宁缺毋滥。只放独立价值高、 内容扎实、稳定可访问的页面,每个链接配一句 20-50 字的描述,并按季度复筛。 筛选标准有了,生成就交给工具: → 进入 llms.txt 生成器,按你的筛选结果一键生成规范文件。