Anthropic、OpenAI、Google、微軟聯手：用一個 robots.txt 訊號統一「AI 訓練選擇退出」，內容主的掌控權回歸

過去，如果網站主人不想讓內容被 AI 公司拿去訓練，必須針對每家廠商的爬蟲逐一封鎖——Anthropic、OpenAI、Google、微軟各有一套，Block 了一個不代表其他家也停。這道麻煩終於要畫上句點：Anthropic、OpenAI、Google 與微軟宣布支援一套共同的 robots.txt 訊號，讓任何網站只需「一次表達」，就能向多家參與的 AI 廠商傳達同一份意願（是否允許內容用於生成式 AI 訓練與落地／檢索（grounding））。

這套標準是甚麼

由 Anthropic 工程師 Kevin Kelley 提出的 draft-kelley-aipref-training-preference-signal（IETF 草案），把它們的意願從「各自為政」推向「統一規格」：

• 一次設定、多家生效：網站經營者能在 robots.txt 放入單一訊號，同時傳達給多家「參與的提供者」，不必再逐家設規則；
• 清楚的參與時程：Anthropic 已率先支援；OpenAI 承諾「數月內」跟進；Google 與微軟表示將於明年落地；
• 範圍涵蓋訓練與落地：訊號不只影響「是否可被拿來預訓練」，也涵蓋生成式 AI 的 grounding（以真實內容為依據作答）——這對「我的文章會不會被引用成 AI 的回答來源」尤其關鍵；
• 業界最高層級背書：Meta 公共事務副總裁 Andy Stone 公開稱這是「重要一步」，並表示支持「出版者就其內容如何用於生成式 AI 訓練表達偏好」。

對內容主、媒體與企業網站而言，這是第一次把「被 AI 使用的意願」變成一個可被標準機器讀取的共同語言，而非各家自行解釋。

趨勢：從「逐家對抗」到「共同規範」

過去一年，AI 公司與內容產業之間的摩擦，多數是單點衝突——這家被訴訟、那家被抗議、我們自行封鎖某個爬蟲。這則新聞的訊號是：AI 巨頭願意坐下來，把「選擇退出」變成產業共同的基礎設施。

• 對大型模型廠商，這是降低法律與公關風險的務實一步：統一的訊號讓「尊重內容主意願」更容易被證明，也減少「誤抓」引發的公關與訴訟成本；
• 對內容生態，這是掌控權的象徵性回歸：出版者不再需要理解每一家的爬蟲規格，只需一個標準就能覆蓋主流廠商——「你的內容要不要餵給 AI」重新成為網站的自主決定；
• 標準化的雙向意義：一旦這類訊號成為慣例，**「AI 訓練是否合乎意願」也將成為企業盡職調查（due diligence）**與內容授權談判的參考框架。

對香港企業與在職人士的啟示

• 如果你是內容／電商／媒體網站經營者：現在是檢視 robots.txt 與內容授權策略的時機。你可能未必想全面封鎖（被封鎖也可能影響被檢索與流量），關鍵是決定「哪些內容可以被 AI 訓練與落地、哪些不可以」，並在標準落地後一次設定到位——尤其是產品規格、隱私聲明、訂價或專業文章這類高度敏感或商業價值的頁面；
• 把「內容如何被 AI 使用」納入營銷與法務決策：生成式 AI 的「落地檢索」會直接把你的網頁內容變成 AI 回答的來源。思考「我希望 AI 怎麼描述我的品牌或產品」，並調整對外內容的可擷取設定，是企業內容治理新的必修課；
• 對上班族，這是一堂「資料治理意識」的縮影：今天的訊號規範的是「網站內容」，但背後的精神——誰能使用你的資料、用在哪、你能不能一次掌控——套用到企業內部管理客戶資料、供應商資料與對話紀錄時完全適用。建立統一的資料使用偏好與合規紀錄，將愈來愈重要；
• 可被驗證、可被審計：當「意願訊號」變成機器可讀的標準，企業對「我們有沒有尊重內容主意願」的合規證明，也將從人工撕扯變成可自動檢查。準備好讓你的內容治理，成為可被標準檢驗的流程。

這則新聞看似是技術規格，實則是生成式 AI 從「野蠻生長」走向「共同治理」的里程碑：當四大 AI 巨頭首次就「資料使用意願」訂立統一語言，代表資料掌控權不再只是零散的對抗，而開始變成整個生態共同承擔的規範。對內容豐富的香港企業與重視資料主權的上班族，這是把「我的內容、我的決定」正式寫進 AI 規則的關鍵一步。