让网站对 AI 更友好：一次关于 llms.txt 的探索与插件开发

最近在浏览 Apifox 的接口文档时，注意到文档中附带了 llms.txt 文件，出于好奇便做了一番了解。

llms.txt 是一个目前仍处于提案阶段的标准化文件，采用 Markdown 格式编写，旨在为网站提供一种向 AI 输送结构化数据的方式，帮助大型语言模型（LLM）更高效地理解网站内容。

llms.txt 与 robots.txt、sitemap.xml 的区别

目前，llms.txt 还没有成为官方标准，但已有社区提案网站 llms-txt 对其进行了详细介绍。

文件位置

llms.txt 通常放置在网站的根目录下，例如：https://www.weisay.com/llms.txt

为博客添加 llms.txt，某种程度上也算是与 AI 建立连接，跟上技术发展的潮流。

现有插件情况

在 WordPress 插件平台中可以找到不少支持生成 llms.txt 的插件。我试用了不下十款具备此功能的插件，发现生成的文件格式五花八门，尽管目前没有统一标准，但有些格式确实过于随意。

以下是社区给的一个简单示例结构：

# Title

> Optional description goes here

Optional details go here

## Section name

- [Link title](https://link_url): Optional link details

## Optional

- [Link title](https://link_url)

llms-full.txt 的考量

除了 llms.txt，还有 llms-full.txt 的概念，后者包含了完整的 Markdown 文档内容。目前我还没有尝试生成它，因为将全站文章内容集中在一个文件中，可能会导致文件体积过大，不太理想。

我比较欣赏 Apifox 的做法：他的目的是帮助 AI 高效、快速地理解在线文档。例如，Apifox帮助文档就全面使用了 llms.txt，其中的链接并非普通访问链接，而是为每个页面专门生成的对应 Markdown 文件链接。

社区规范格式

根据 llms-txt 社区的规范，llms.txt 应包含以下按顺序排列的 Markdown 部分：

一个唯一的、必需的 H1 标题，用于显示项目或网站名称；

一个引用块（blockquote），用于撰写项目简短摘要，包含理解整个文件所需的关键信息；

零个或多个 Markdown 区块（例如段落、列表等），用于进一步解释项目及如何理解所提供的内容（但不能使用标题格式）；

零个或多个由 H2 标题分隔的“文件列表”区块，列出可获取更多详细信息的 URL；

每个“文件列表”应为 Markdown 列表项，每一项必须包含形如 [name](url) 的超链接，其后可选地使用冒号 : 附加说明。

在我试用的一些插件中，不少都使用了多次 # ，也就是使用了多个 H1 标题，但理论上整个文件应只有一个 H1。

自开发 WP LLMs.txt 插件

考虑到功能并不复杂，我决定自己动手编写一个 WordPress 插件来生成 llms.txt，并严格遵循社区规范。

如果仅提供 llms.txt，可以为链接添加可选说明，更好地帮助 AI 理解链接内容。因此，我使用了 WordPress 主要页面类型（页面、分类、文章、标签）的描述或摘要信息作为可选说明。

WordPress 默认并未为页面提供摘要填写入口，但实际上页面与文章存储在同一数据表中，也有 post_excerpt 字段。我在插件中开放了这个字段的填写入口，用户可以在编辑页面时补充摘要信息。分类和标签的描述则可以在各自的管理页面中编辑。虽然很多人不习惯完善这些信息，但对于页面和分类这类数量不多的内容类型，还是值得花时间补充的。

插件下载：WP LLMs.txt 提取码: llms

服务器配置提示

如果 WordPress 没有安装在网站根目录（例如像我这样安装在 /blog 子目录下），则需通过 URL 重写将 llms.txt 指向根目录访问路径。

例如，Nginx 配置如下：

location = /llms.txt {
    rewrite ^ /blog/llms.txt last;
}

Apache 服务器则需在网站根目录的 .htaccess 文件中添加：

RewriteEngine On
RewriteRule ^llms\.txt$ /blog/llms.txt [L]

目录资源与文件验证

目前有一些线上目录列出了已部署 llms.txt 的网站，例如：

llmstxt.site

directory.llmstxt.cloud

你可以通过 llmstxtvalidator.org 在线检测你的 llms.txt 文件是否符合社区规范。