四大 AI 实验室达成共识：网站用一行 robots.txt 指令，即可一次拒绝四家模型训练抓取

国际・科技 · 2026.10.30 · OpenAI、Google、微软与 Anthropic 10 月 30 日宣布，将共同遵守一个新的共享 robots.txt 标记，让网站出版方用一条指令即可拒绝四家公司的模型训练抓取，而不必再逐家设定不同的指令。这是四家西方主要实验室首次在训练资料授权的退出机制上采用同一标准。

一行指令：__usage_ai-training

新标记的写法是 User-Agent: __usage_ai-training，配合 Disallow: /，即可表示拒绝用于训练；出版方也可透过 Allow 指令为部分内容开例外。此前各家爬虫的退出指令并不统一，出版方需要分别设定；新标记把这套流程压缩成一行。该机制来自一份互联网工程任务组的个人草案《机器可读的训练偏好信号》，由 Anthropic 的标准技术负责人凯文·凯利执笔，日期为 2026 年 10 月 30 日，有效期至 2027 年 5 月 3 日。

落地时间表各不相同

四家公司的落地进度并不一致：Anthropic 表示已开始实施支援；OpenAI 表示目标在未来几个月内实施；微软的目标日期是 2027 年 2 月 1 日；Google 则表示将在 2027 年内实施。Meta 对这一想法表示支持，但尚未承诺遵守该标记。换言之，这一标记目前是四家公司的共同承诺，实际覆盖仍需等待各家陆续上线。

本站根据两份 10 月 31 日的 AI 行业简报整理。