四大 AI 實驗室達成共識：網站用一行 robots.txt 指令，即可一次拒絕四家模型訓練抓取

國際・科技 · 2026.10.30 · OpenAI、Google、微軟與 Anthropic 10 月 30 日宣布，將共同遵守一個新的共享 robots.txt 標記，讓網站出版方用一條指令即可拒絕四家公司的模型訓練抓取，而不必再逐家設定不同的指令。這是四家西方主要實驗室首次在訓練資料授權的退出機制上採用同一標準。

一行指令：__usage_ai-training

新標記的寫法是 User-Agent: __usage_ai-training，配合 Disallow: /，即可表示拒絕用於訓練；出版方也可透過 Allow 指令為部分內容開例外。此前各家爬蟲的退出指令並不統一，出版方需要分別設定；新標記把這套流程壓縮成一行。該機制來自一份互聯網工程任務組的個人草案《機器可讀的訓練偏好信號》，由 Anthropic 的標準技術負責人凱文·凱利執筆，日期為 2026 年 10 月 30 日，有效期至 2027 年 5 月 3 日。

落地時間表各不相同

四家公司的落地進度並不一致：Anthropic 表示已開始實施支援；OpenAI 表示目標在未來幾個月內實施；微軟的目標日期是 2027 年 2 月 1 日；Google 則表示將在 2027 年內實施。Meta 對這一想法表示支持，但尚未承諾遵守該標記。換言之，這一標記目前是四家公司的共同承諾，實際覆蓋仍需等待各家陸續上線。

本站根據兩份 10 月 31 日的 AI 行業簡報整理。