OpenAI、Google、Microsoft、Anthropic 聯手支援統一的 AI 訓練退出訊號：一個 robots.txt 標記，管住四大 AI 機器人

10 月 30 日，OpenAI、Google、Microsoft 三家巨頭同時宣布，將支援一個統一的 robots.txt 訊號，讓網站經營者能透過單一規則，一次拒絕多間 AI 公司將網站內容用於生成式 AI 訓練。加上已先行採用的 Anthropic，四大主要 AI 開發者首次在「內容是否可被拿來訓練模型」這件事上，採用同一個協定。對長期以來必須為每家 AI 爬蟲分別撰寫封鎖規則的內容創作者與企業網站來說，這是最接近「一鍵退出」的一次進展。

甚麼是「policy token」？一個元祖很久以前就存在的檔案

這次的共同訊號，是由 Anthropic 的標準技術負責人 Kevin Kelley 向 IETF 的 AI 偏好工作組（AIPREF）提出的網際網路草案 draft-kelley-aipref-training-preference-signal。它的載體是 robots.txt——一個網站根目錄下、用來向網路爬蟲宣告「誰可以抓、誰不可以抓」的純文字檔案，也是搜尋引擎與爬蟲之間最老也最普遍的協定。

新機制用一個共同的 user-agent 名稱 __usage_ai-training 來工作：

想讓內容完全退出 AI 訓練，只要在該 user-agent 下加入一行 Disallow: /；
若只想開放某些資料夾，可用 Allow 列明可分享的範圍；
只要「支援這項訊號」的 AI 廠商碰到這個標記，就會統一遵守遞歸（disallow）的意圖。

各家時程略有不同：Anthropic 已正式採用；OpenAI 表示「數月內」落地；Google 預計 2027 年初支援；Microsoft 則從 2027 年 2 月 1 日起依此爬取。Google 並特別說明，它會把這個標記視為對其 Gemini 訓練爬蟲 Google-Extended 的封鎖，但不會影響 Google 搜尋收錄。Meta 雖表達支持，但未給出具體時間。

為何重要：從「逐家封鎖」到「一次設定」

過去，網站經營者若要阻止自己的內容被拿去訓練 AI，必須分別標出每家公司的爬蟲並各自撰寫規則——例如 Google 的 Google-Extended、OpenAI 的 GPTBot、Anthropic 的 ClaudeBot 等。爬蟲名單不斷更新、規則又容易遺漏，對沒有專職技術團隊的中小型企業尤其吃力。

這項標準的意義在於把分散的決策收斂成一次宣告：只要內容經營者表達「不用於 AI 訓練」，四大廠商便以同一方式解讀。這也呼應了歐盟《AI 法》執法準則把 robots.txt 視為「出版方以機器可讀方式表達偏好」的主要途徑。需要注意的界線是：它只影響未來的爬取，無法追回過去已被收錄與訓練的內容；它只管「訓練」，「AI 搜尋的引用（grounding）」則由各家另行設定（Microsoft 已另提供頁面層級的選項）。Meta 尚未表明承諾時間，也是一個待觀察的缺口。

對香港企業與內容創作者的啟示

內容是資產，值得用技術宣告保值：無論是做媒體、電商、B2B 內容行銷還是培訓機構，你的網站內容就是別人拿來訓練模型的素材。現在有統一的標記可以表達意願，值得把「是否允許 AI 訓練」當成一個明確的商業決策，而不是技術人員順手決定的事；
動手做很簡單，交給 IT 或自行加上即可：在 robots.txt 中的 __usage_ai-training 底下加一行 Disallow: /。一次設定，就能同時向四大廠商表達意願，也為日後其他採納標準的 AI 廠商提早鋪路；
留意「SEO 的兩面性」：封鎖 AI 訓練不會去掉你在 Google 搜尋的排名，但若你的業務同時依賴被生成式 AI 引用（grounding）來帶流量，就需要分開考量訓練與引用——兩者的開關不在同一個標記上；
保持彈性、隨時間調整：既然各家承諾時程不一，不要只做一次就結束。把這項設定列入年度內容與技術檢核，在 OpenAI、Google、Microsoft 陸續落地時確認行為是否如預期，並留意 Meta 等尚未承諾者的後續動向。

這是大型 AI 公司難得一見的一步:從競相擴充語料，改為承認內容所有者的選擇權。雖然它只是「未來爬取」的控管、也未必能解決版權爭議的根本問題，但對內容創造者而言，「能一次表達意願」本身，就是談判桌上多出來的一張牌。香港的出版、媒體與企業，現在就可以開始把這項設定放進自己的網站治理裡。