四大 AI 公司聯手推統一退出信號:網站一行 robots.txt 設定,即可拒絕四家爬蟲用內容訓練模型

OpenAI、Google、微軟與 Anthropic 於 10 月 30 日宣布,將共同支持 robots.txt 裡的統一政策代碼 __usage_ai-training,讓網站一次向四家公司表明不願內容被用於 AI 訓練;該信號出自 IETF 的個人草案,屬自願性質,只針對訓練用途,各家上線時間不一。
舊金山消息:OpenAI、Google、微軟與 Anthropic 於 10 月 30 日宣布,將共同支持一個統一的 AI 訓練退出信號。網站經營者只要在 robots.txt 檔案中寫入政策代碼 __usage_ai-training,就能一次向四家公司的爬蟲表明:不希望網站內容被用於 AI 模型訓練,而不必再為每家爬蟲各寫一套規則。
一行設定,取代四套規則
具體做法是兩行:在 robots.txt 中寫入「User-Agent: __usage_ai-training」並加上「Disallow: /」,即可對全部內容表達拒絕訓練的意願;也可以只針對部分目錄設定。這個代碼出自網際網路工程任務組(IETF)AI 偏好工作小組的一份個人草案《機器可讀的訓練偏好信號》(Machine-Readable Training Preference Signal),由 Anthropic 的標準技術負責人凱文・凱利(Kevin Kelley)執筆,日期為 2026 年 10 月 30 日,草案將於 2027 年 5 月 3 日到期。必須說明的是,這只是一份個人草案,尚未成為 IETF 的正式標準,也未獲得 IETF 的背書。
各家上線時間不一,Anthropic 已先行
四家公司的進度並不一致:Anthropic 已開始實施該信號;微軟的目標是 2027 年 2 月 1 日起支持,Google 表示將在 2027 年內支持,OpenAI 則表示將在未來幾個月內上線,並會再公布實施細節。OpenAI 同時強調,新信號不會取代它現有的 robots.txt 爬蟲控制,現有規則繼續有效。微軟還表示將提供更細緻的控制,讓網站可以分別拒絕 AI 訓練與 AI grounding(即時檢索內容用於聊天回答);Google 方面則表示,若網站使用統一代碼而未單獨提及 Google-Extended,將視同拒絕了 Google-Extended。
只針對訓練,而且全憑自願
這個信號有兩個重要限制。第一,它只針對訓練用途:不阻止爬蟲造訪或快取頁面,也不影響搜尋索引或 AI 回答中引用頁面。第二,它是自願性質,沒有強制執行機制;而且改了 robots.txt,也不會把已經收集進資料集、已經訓練進模型的內容刪除,只對未來的訓練產生作用。換言之,這是出版商與 AI 公司之間的一次協調嘗試,讓退出選擇變得更簡單,但不是一鍵抹除。
本站根據 OpenAI 官方公告、微軟 Bing 官方博客及相關報道整理;各家公司的具體上線時間與實施細節以其後續公告為準。
N環球 
💬 留言
暫時還沒有留言,來搶沙發!