为AI搜索引擎生成标准 llms.txt 文件,让AI爬虫正确理解和引用你的网站内容
llms.txt 是一种面向AI大模型和生成式搜索引擎的网站说明文件,类似于 robots.txt 对传统搜索引擎的作用。它以 Markdown 格式编写,放置在网站根目录,主动告知AI爬虫你的品牌核心信息、优先抓取页面和详细内容路径。随着AI搜索渗透率突破89%,配置 llms.txt 已成为 GEO(生成式引擎优化)的重要环节。
llms.txt 使用 Markdown 格式,包含以下结构:第一行是标题(H1),随后是引用块(blockquote)的一句话描述,然后是详细说明段落。链接分为 Summary(概要,AI优先抓取)、Docs(详细文档)和 Optional(可选信息)三个层级。
填写网站名称和一句话描述(必填),这两项是AI最先读取的信息。添加 Summary 链接(核心页面,如首页、产品页),添加 Docs 链接(详细文档页面)。点击「复制」或「下载文件」获取 llms.txt,上传到网站根目录(与 robots.txt 同级)。访问 https://你的域名/llms.txt 确认可访问即可。
llms.txt 放在网站根目录,与 robots.txt 同级。例如:https://www.example.com/llms.txt。确保该文件可以被公开访问,不要在 robots.txt 中禁止AI爬虫抓取该路径。
llms.txt 本身不是排名因素,但它能帮助AI爬虫更准确、更高效地理解你的品牌和内容。当用户在AI搜索引擎中提问与你的业务相关的问题时,AI能更准确地引用你的信息,从而提升品牌曝光和流量。这是GEO优化的重要一环。
目前ChatGPT、Perplexity、Claude等主流AI搜索引擎的爬虫都会抓取网站根目录的文本文件。llms.txt 作为社区标准正在快速普及,越来越多的AI平台开始主动检索和引用该文件中的信息。
是的,两者作用不同,需要同时配置。robots.txt 控制爬虫的访问权限(哪些能爬哪些不能爬),llms.txt 提供内容指引(爬到之后怎么理解)。建议先用我们的 Robots.txt 生成器配置好访问规则,再用 llms.txt 生成器配置内容指引。
llms.txt 使用 Markdown 格式,因为大语言模型对 Markdown 的理解能力最强。Markdown 的标题层级、列表、链接等结构能被AI准确解析,比 JSON 或 XML 更适合作为AI可读的网站说明文件。