四大 AI 公司联手推统一退出信号:网站一行 robots.txt 设定,即可拒绝四家爬虫用内容训练模型

OpenAI、Google、微软与 Anthropic 于 10 月 30 日宣布,将共同支持 robots.txt 里的统一政策代码 __usage_ai-training,让网站一次向四家公司表明不愿内容被用于 AI 训练;该信号出自 IETF 的个人草案,属自愿性质,只针对训练用途,各家上线时间不一。
旧金山消息:OpenAI、Google、微软与 Anthropic 于 10 月 30 日宣布,将共同支持一个统一的 AI 训练退出信号。网站经营者只要在 robots.txt 档案中写入政策代码 __usage_ai-training,就能一次向四家公司的爬虫表明:不希望网站内容被用于 AI 模型训练,而不必再为每家爬虫各写一套规则。
一行设定,取代四套规则
具体做法是两行:在 robots.txt 中写入「User-Agent: __usage_ai-training」并加上「Disallow: /」,即可对全部内容表达拒绝训练的意愿;也可以只针对部分目录设定。这个代码出自网际网路工程任务组(IETF)AI 偏好工作小组的一份个人草案《机器可读的训练偏好信号》(Machine-Readable Training Preference Signal),由 Anthropic 的标准技术负责人凯文・凯利(Kevin Kelley)执笔,日期为 2026 年 10 月 30 日,草案将于 2027 年 5 月 3 日到期。必须说明的是,这只是一份个人草案,尚未成为 IETF 的正式标准,也未获得 IETF 的背书。
各家上线时间不一,Anthropic 已先行
四家公司的进度并不一致:Anthropic 已开始实施该信号;微软的目标是 2027 年 2 月 1 日起支持,Google 表示将在 2027 年内支持,OpenAI 则表示将在未来几个月内上线,并会再公布实施细节。OpenAI 同时强调,新信号不会取代它现有的 robots.txt 爬虫控制,现有规则继续有效。微软还表示将提供更细致的控制,让网站可以分别拒绝 AI 训练与 AI grounding(即时检索内容用于聊天回答);Google 方面则表示,若网站使用统一代码而未单独提及 Google-Extended,将视同拒绝了 Google-Extended。
只针对训练,而且全凭自愿
这个信号有两个重要限制。第一,它只针对训练用途:不阻止爬虫造访或快取页面,也不影响搜寻索引或 AI 回答中引用页面。第二,它是自愿性质,没有强制执行机制;而且改了 robots.txt,也不会把已经收集进资料集、已经训练进模型的内容删除,只对未来的训练产生作用。换言之,这是出版商与 AI 公司之间的一次协调尝试,让退出选择变得更简单,但不是一键抹除。
本站根据 OpenAI 官方公告、微软 Bing 官方博客及相关报道整理;各家公司的具体上线时间与实施细节以其后续公告为准。
N環球 
💬 留言
暂时还没有留言,来抢沙发!