最近在浏览 Apifox 的接口文档时,注意到文档中附带了 llms.txt 文件,出于好奇便做了一番了解。
llms.txt 是一个目前仍处于提案阶段的标准化文件,采用 Markdown 格式编写,旨在为网站提供一种向 AI 输送结构化数据的方式,帮助大型语言模型(LLM)更高效地理解网站内容。
llms.txt 与 robots.txt、sitemap.xml 的区别
| 文件 | 对象 | 作用 |
|---|---|---|
| robots.txt | 搜索引擎爬虫 | 设定可抓取或禁止抓取的路径规则 |
| sitemap.xml | 搜索引擎爬虫 | 提供网站 URL 列表,便于快速收录 |
| llms.txt | AI / 大型语言模型工具 | 提供页面结构、标题、分类等语义信息 |
目前,llms.txt 还没有成为官方标准,但已有社区提案网站 llms-txt 对其进行了详细介绍。
文件位置
llms.txt 通常放置在网站的根目录下,例如:https://www.weisay.com/llms.txt
为博客添加 llms.txt,某种程度上也算是与 AI 建立连接,跟上技术发展的潮流。
现有插件情况
在 WordPress 插件平台中可以找到不少支持生成 llms.txt 的插件。我试用了不下十款具备此功能的插件,发现生成的文件格式五花八门,尽管目前没有统一标准,但有些格式确实过于随意。
以下是社区给的一个简单示例结构:
# Title
> Optional description goes here
Optional details go here
## Section name
- [Link title](https://link_url): Optional link details
## Optional
- [Link title](https://link_url)
llms-full.txt 的考量
除了 llms.txt,还有 llms-full.txt 的概念,后者包含了完整的 Markdown 文档内容。目前我还没有尝试生成它,因为将全站文章内容集中在一个文件中,可能会导致文件体积过大,不太理想。
我比较欣赏 Apifox 的做法:他的目的是帮助 AI 高效、快速地理解在线文档。例如,Apifox帮助文档就全面使用了 llms.txt,其中的链接并非普通访问链接,而是为每个页面专门生成的对应 Markdown 文件链接。
社区规范格式
根据 llms-txt 社区的规范,llms.txt 应包含以下按顺序排列的 Markdown 部分:
一个唯一的、必需的 H1 标题,用于显示项目或网站名称;
一个引用块(blockquote),用于撰写项目简短摘要,包含理解整个文件所需的关键信息;
零个或多个 Markdown 区块(例如段落、列表等),用于进一步解释项目及如何理解所提供的内容(但不能使用标题格式);
零个或多个由 H2 标题分隔的“文件列表”区块,列出可获取更多详细信息的 URL;
每个“文件列表”应为 Markdown 列表项,每一项必须包含形如 [name](url) 的超链接,其后可选地使用冒号 : 附加说明。
在我试用的一些插件中,不少都使用了多次 # ,也就是使用了多个 H1 标题,但理论上整个文件应只有一个 H1。
自开发 WP LLMs.txt 插件
考虑到功能并不复杂,我决定自己动手编写一个 WordPress 插件来生成 llms.txt,并严格遵循社区规范。
如果仅提供 llms.txt,可以为链接添加可选说明,更好地帮助 AI 理解链接内容。因此,我使用了 WordPress 主要页面类型(页面、分类、文章、标签)的描述或摘要信息作为可选说明。
WordPress 默认并未为页面提供摘要填写入口,但实际上页面与文章存储在同一数据表中,也有 post_excerpt 字段。我在插件中开放了这个字段的填写入口,用户可以在编辑页面时补充摘要信息。分类和标签的描述则可以在各自的管理页面中编辑。虽然很多人不习惯完善这些信息,但对于页面和分类这类数量不多的内容类型,还是值得花时间补充的。
插件下载:WP LLMs.txt 提取码: llms
服务器配置提示
如果 WordPress 没有安装在网站根目录(例如像我这样安装在 /blog 子目录下),则需通过 URL 重写将 llms.txt 指向根目录访问路径。
例如,Nginx 配置如下:
location = /llms.txt {
rewrite ^ /blog/llms.txt last;
}
Apache 服务器则需在网站根目录的 .htaccess 文件中添加:
RewriteEngine On
RewriteRule ^llms\.txt$ /blog/llms.txt [L]
目录资源与文件验证
目前有一些线上目录列出了已部署 llms.txt 的网站,例如:
你可以通过 llmstxtvalidator.org 在线检测你的 llms.txt 文件是否符合社区规范。

其实我不想对于 ai 太友好,😂
@obaby时代的趋势,就是要万物AI,逃不掉的,哈哈😎。