威言威语
我愿像茶,苦涩留心,清香予人。
威言威语
当前位置: 首页 > 网络, 设计 > 正文

让网站对 AI 更友好:一次关于 llms.txt 的探索与插件开发

最近发现了llms.txt这个新东西。它就像是专门给AI看的“网站说明书”。为了给自己的博客配上标准规范的llms.txt,我试了好多WordPress插件都不满意,格式太乱。干脆自己动手写了一个,把页面、文章的分类和摘要都利用起来,让AI能更准确地抓取内容。算是为网站跟上AI潮流做了一点小努力。
让网站对 AI 更友好:一次关于 llms.txt 的探索与插件开发

最近在浏览 Apifox 的接口文档时,注意到文档中附带了 llms.txt 文件,出于好奇便做了一番了解。

llms.txt 是一个目前仍处于提案阶段的标准化文件,采用 Markdown 格式编写,旨在为网站提供一种向 AI 输送结构化数据的方式,帮助大型语言模型(LLM)更高效地理解网站内容。

llms.txt 与 robots.txt、sitemap.xml 的区别
文件 对象 作用
robots.txt 搜索引擎爬虫 设定可抓取或禁止抓取的路径规则
sitemap.xml 搜索引擎爬虫 提供网站 URL 列表,便于快速收录
llms.txt AI / 大型语言模型工具 提供页面结构、标题、分类等语义信息

目前,llms.txt 还没有成为官方标准,但已有社区提案网站 llms-txt 对其进行了详细介绍。

文件位置

llms.txt 通常放置在网站的根目录下,例如:https://www.weisay.com/llms.txt

为博客添加 llms.txt,某种程度上也算是与 AI 建立连接,跟上技术发展的潮流。

现有插件情况

在 WordPress 插件平台中可以找到不少支持生成 llms.txt 的插件。我试用了不下十款具备此功能的插件,发现生成的文件格式五花八门,尽管目前没有统一标准,但有些格式确实过于随意。

以下是社区给的一个简单示例结构:


# Title

> Optional description goes here

Optional details go here

## Section name

- [Link title](https://link_url): Optional link details

## Optional

- [Link title](https://link_url)
llms-full.txt 的考量

除了 llms.txt,还有 llms-full.txt 的概念,后者包含了完整的 Markdown 文档内容。目前我还没有尝试生成它,因为将全站文章内容集中在一个文件中,可能会导致文件体积过大,不太理想。

我比较欣赏 Apifox 的做法:他的目的是帮助 AI 高效、快速地理解在线文档。例如,Apifox帮助文档就全面使用了 llms.txt,其中的链接并非普通访问链接,而是为每个页面专门生成的对应 Markdown 文件链接。

社区规范格式

根据 llms-txt 社区的规范,llms.txt 应包含以下按顺序排列的 Markdown 部分:

一个唯一的、必需的 H1 标题,用于显示项目或网站名称;

一个引用块(blockquote),用于撰写项目简短摘要,包含理解整个文件所需的关键信息;

零个或多个 Markdown 区块(例如段落、列表等),用于进一步解释项目及如何理解所提供的内容(但不能使用标题格式);

零个或多个由 H2 标题分隔的“文件列表”区块,列出可获取更多详细信息的 URL;

每个“文件列表”应为 Markdown 列表项,每一项必须包含形如 [name](url) 的超链接,其后可选地使用冒号 : 附加说明。

在我试用的一些插件中,不少都使用了多次 # ,也就是使用了多个 H1 标题,但理论上整个文件应只有一个 H1。

自开发 WP LLMs.txt 插件

考虑到功能并不复杂,我决定自己动手编写一个 WordPress 插件来生成 llms.txt,并严格遵循社区规范。

如果仅提供 llms.txt,可以为链接添加可选说明,更好地帮助 AI 理解链接内容。因此,我使用了 WordPress 主要页面类型(页面、分类、文章、标签)的描述或摘要信息作为可选说明。

WordPress 默认并未为页面提供摘要填写入口,但实际上页面与文章存储在同一数据表中,也有 post_excerpt 字段。我在插件中开放了这个字段的填写入口,用户可以在编辑页面时补充摘要信息。分类和标签的描述则可以在各自的管理页面中编辑。虽然很多人不习惯完善这些信息,但对于页面和分类这类数量不多的内容类型,还是值得花时间补充的。

WP LLMs.txt 插件

插件下载WP LLMs.txt 提取码: llms

服务器配置提示

如果 WordPress 没有安装在网站根目录(例如像我这样安装在 /blog 子目录下),则需通过 URL 重写将 llms.txt 指向根目录访问路径。

例如,Nginx 配置如下:


location = /llms.txt {
    rewrite ^ /blog/llms.txt last;
}

Apache 服务器则需在网站根目录的 .htaccess 文件中添加:


RewriteEngine On
RewriteRule ^llms\.txt$ /blog/llms.txt [L]
目录资源与文件验证

目前有一些线上目录列出了已部署 llms.txt 的网站,例如:

llmstxt.site

directory.llmstxt.cloud

你可以通过 llmstxtvalidator.org 在线检测你的 llms.txt 文件是否符合社区规范。

相关推荐

让网站对 AI 更友好:一次关于 llms.txt 的探索与插件开发:目前有 2 条评论

  1. obaby
    沙发
    obaby6Google Chrome 134.0.0.0 Mac OS X  10.15.7

    其实我不想对于 ai 太友好,😂

    2025-11-14 15:59 回复
    • William
      WilliamFirefox 145.0 Windows 10

      @obaby时代的趋势,就是要万物AI,逃不掉的,哈哈😎。

      2025-11-14 16:28 回复

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

gravatar

question razz sad smile redface biggrin eek shock confused cool lol mad rolleyes wink cry