四家跟 IETF 共用 robots.txt：token 是 __usage_ai-training；沒寫等於允許，Google 要到 2027

網站根目錄那份叫 robots.txt 的純文字檔，多了一個四家實驗室同時點頭的 User-Agent 名字。照 IETF 個人草案 draft-kelley-aipref-training-preference-signal-00 的寫法，站方若要對「參與這套訊號的供應商」一次表達「不要拿來做生成式模型訓練」，要寫的是這三行：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

上面這組例子直接抄自草案圖 1：全站反對訓練，只放行 /press-kit/。__usage_ai-training 前面那兩條底線是刻意加的，讓現有解析器比較不容易把它誤認成某個真正的爬蟲名字。

OpenAI、Google 搜尋部門、微軟 Bing 同日各自發文，說會認這組共用訊號。Anthropic 沒有另發產品部落格，但草案作者欄寫的是 Kevin Kelley，所屬機構是 Anthropic；MLex 與 Search Engine Land 把四家並列為自願採用方。IETF datatracker 同時寫明：這是個人 Internet-Draft，沒有經過 IETF 背書，在標準流程裡沒有正式地位，有效期寫到隔年 5 月 3 日。

四家說了什麼，時間表對不上

OpenAI 的官方說法最短。它會認 robots.txt 裡這組「共通訊號」，讓站方把同一偏好一次講給多家參與供應商聽；現有 爬蟲 控制不會被取代，GPTBot、OAI-SearchBot 那些規則繼續有效。實作時間只給了一句「未來數月」，細節「到時候再另發更新」。它鼓勵其他供應商也認這組訊號。

Google Search Advocate John Mueller 寫在 Search Central：站方用這枚 policy token 退出訓練、且沒有另外明確指定 Google-Extended 時，Google 打算把它解讀成「等同 Disallow Google-Extended」。公司專屬控制會跟共用訊號並存；明確允許 Google-Extended 的網站，仍有資格出現在 Gemini Apps 的錨定回覆裡、並拿到點擊。Google 把這份草案跟歐盟《通用目的 AI 行為守則》（GPAI Code of Practice）對上：那份守則把 robots.txt 認成網站表達機器可讀偏好的主要方法。落地時間寫的是「與其他 AI 供應商一起，在 2027 年支援」，沒有月份。

微軟 Bing 產品經理 Krishna Madhavan 的篇幅最長，也把訓練和錨定拆成兩套獨立偏好。共用的 AI Training 寫在 robots.txt（或單頁覆蓋）；AI Grounding 只在單頁，用 meta 或 HTTP header，另加一檔 DisallowExtended：內容可以進微軟自己的 AI Mode、AI Overview、Copilot、Microsoft 365，但不能進它賣給第三方的 grounding 服務（點名 Web IQ，以及 Foundry 上的 grounding API）。兩套偏好沒寫的時候，預設都是 Allow。新規則從 2027 年 2 月 1 日起，隨 Bing 實際爬到該頁才生效；仍在用 NoArchive / NoCache 的站，被要求在 3 月 1 日前改完，否則舊標籤不再被當成訓練或錨定偏好。12 月 15 日會在 Bing Webmaster Tools 開一條暫時的 grounding 過渡開關，最晚撐到 9 月 30 日或該頁被重爬，以較早者為準。

四家不是在同一天打開同一支開關。站方今天把 token 寫進檔案，Google 可能整年都不讀；微軟要等明年 2 月以後的那一次爬取；OpenAI 連「數月」的起算點都沒釘。這不是「標準上線」，是四份自願承諾疊在一份還沒進工作組共識的個人草案上。

這組 token 管的是「用途」，不是「能不能爬」

草案本文反覆寫同一件事：它不引入新的指令名稱，也不改 robots.txt 文法。路徑語言、最長匹配、group 結構全部沿用 RFC 9309。現網路上已經部署的解析器，會繼續把流量管理規則讀成以前的樣子；不認得 __usage_ai-training 的解析器，會把它當成「某個自己不認識的 User-Agent group」直接忽略。

User-Agent: * 的萬用 group 不得被解讀成匹配這枚 policy token。檔案裡如果完全沒有 __usage_ai-training 這一行，就是「沒有表達偏好」，不是「禁止」，也不是「允許」。微軟把「沒寫」進一步寫成 Allow——兩種說法差在：草案把沉默當成未表態，微軟產品實作把沉默當成放行。

草案也把用途偏好和爬蟲流量管理拆開，稱兩者獨立、正交。你可以用 GPTBot 的 Disallow 擋訓練爬蟲進站，同時用這枚 token 對「認這套訊號的人」表達訓練偏好；反過來說，Allow 訓練不會推翻擋 Bingbot 進站的規則。私人協議可以覆蓋檔案裡寫的偏好。目標清單包括：綁到路徑、盡量靠近 RFC 9309、不要把規則複製成一大份、不實作的解析器行為不變、各家讀法一致。

token 的含義對上工作組另一份詞彙草案 draft-ietf-aipref-vocab-08（Paul Keller / Open Future、Martin Thomson / Mozilla，9 月更新）。那份詞彙把 AI Training 定義成「用一份資產去改生成式 AI 模型已學習的參數」；專門只做非生成任務的模型訓練，即使該模型其實也做得到生成，也不算在這一類。另有 AI Use（資產被當成生成模型的輸入，但不是使用者當下提供）和 Search（主要目的是選資產、把人導向原址）。每一類的偏好值是 allowed / disallowed / unknown；衝突時取最嚴。詞彙草案自己也寫：它不保證偏好會被遵守，要不要遵守由接收方決定；文內還有一段註記，內容尚未反映工作組共識。被標成未決議題的其中一節，主張遵守訓練偏好時，模型被分發時應一併帶上訓練資產對應的偏好——也就是開權重或授權模型時，退出訊號要跟著走。這一段還沒定。

工作組主席是 Cloudflare 的 Mark Nottingham 與 Cisco 的 Suresh Krishnan。致謝名單裡出現 OpenAI、Google、微軟、Meta、Cloudflare、Common Crawl Foundation、News Corp、Financial Times、BBC、Electronic Frontier Foundation、Creative Commons 的參與者；IETF 慣例是個人身分貢獻，機構只作識別。

舊規則一條都沒死，搜尋、對話抓取、廣告檢查仍要各寫

OpenAI 開發者文件把四個機器人拆開，而且寫明彼此獨立：

搜尋側的調整，官方估 robots.txt 更新後約 24 小時。廣告機器人有公開 IP 清單。關鍵缺口在最後一列：人在 ChatGPT 裡點連結、模型去抓那一頁時，站方在 robots.txt 寫的規則可能管不到。共用 token 解決的是「訓練偏好要寫 N 家爬蟲名字」的行政成本，沒有把「使用者觸發的現場抓取」收進同一把鎖。

Google 從 2023 年就有 Google-Extended，用來把「給搜尋索引」和「拿去訓練 Bard / Vertex 生成 API」拆開。Mueller 這次的承諾是：共用 token 退出、又沒另寫 Google-Extended 時，當成已經 Disallow Google-Extended。想擋訓練但仍出現在 Gemini Apps 錨定回覆裡，路徑仍是明確 Allow Google-Extended。Search Console 另有阻擋內容進入 AI Overviews / AI Mode 的控制，那是搜尋產品層，不是這枚訓練 token。

Anthropic 說明頁仍把 ClaudeBot 對應訓練、Claude-SearchBot 對應搜尋品質、Claude-User 對應使用者觸發抓取。擋 ClaudeBot 表示未來材料不應進訓練集；擋 Claude-User 會讓系統無法依使用者查詢去取該站內容，可能降低可見度。它支援非標準的 Crawl-delay。官方寫會尊重 robots.txt、不繞 CAPTCHA。產品說明尚未改寫成「認 __usage_ai-training」。

Hacker News 上一份站長自查（746 個讀得到 robots.txt 的大型站，檢查窗口在稍早）把碎片化寫成數字：擋 CCBot 146、Bytespider 137、ClaudeBot 135、Applebot-Extended 127、GPTBot 126、Meta-ExternalAgent 125、PerplexityBot 114、Google-Extended 101、Amazonbot 99；搜尋類的 OAI-SearchBot 只有 70、ChatGPT-User 69、Claude-User 66。同一批站對「訓練爬蟲」和「搜尋／使用者抓取」的態度本來就不一樣。共用 token 若只覆蓋訓練、又把沉默當未表態或 Allow，搜尋可見度這條線還是得各寫各的。

法律上它仍是禮貌訊號，蓋不住已經餵進去的語料

robots.txt 從 1994 年活到 RFC 9309，從來不是法律。沒有自動執行、沒有罰則、換一個 User-Agent 字串就能走另一扇門。OpenAI 自己的 GPTBot 也是在模型已經有商業價值之後，才開始正式遵守 robots.txt——這是 The Verge 先前報導過的時間線，不是這次公告新承認的。退出機制向前看，不回溯。已經進過訓練數據的文字，不會因為你今天加上 __usage_ai-training 就從權重裡消失。

更早的國會紀錄把這層不信任寫得很硬。澳洲公共廣播 ABC 在國會聽證會上說，實驗室把 robots.txt 當成著作權妥協的核心，但同一套退出訊號已被記錄為遭到繞過。TollBit 的研究、以及後續 Business Insider 的報導，指有 AI 代理從多個來源選擇繞過 robots.txt 取內容，並點名 OpenAI 與 Anthropic 在公開宣稱尊重訊號的同時有繞過紀錄。這些指控與兩家公司的公開政策互相打架；這次四家再簽一份自願草案，並沒有附上第三方稽核、也沒有違規後果。

美國政府稍早已在《紐約時報》訴 OpenAI 一案遞交書狀，以國家利益為名站在未經授權訓練的一側，見站內先前整理的紐時案書狀。那條線走的是法庭與行政，不是 robots.txt。Cloudflare 更早把機器人流量超過人類這件事，做成「付費才能爬」的產品方向，見付費通行制。IETF 工作組 2024 年工作坊紀錄裡有一句被反覆引用的評語：robots.txt 壞了，是我們弄壞的。共用 token 是在同一條壞掉的管子上，再加一個大家同意怎麼讀的標籤。

歐盟 GPAI 行為守則把 robots.txt 認成機器可讀偏好的主要方法，這讓 Google 的公告有了一個監管對口。守則仍是行為守則，不是把退出變成可起訴的權利。詞彙草案把「遵不遵守」留給接收方；微軟寫得更白：允許訓練或錨定，不保證被收進模型、不保證流量、不保證付費，也不構成授權或付款安排。傳統 Bing 搜尋結果的資格，在正常爬取與索引條件下，不因這兩套偏好改變。Bing 搜尋聯合 API 官方說只回傳統搜尋連結、不是給 AI 摘要用，因此不受 grounding 偏好影響。

對做SEO、靠內容吃飯的人，真正要拆的是三層，而不是「寫或不寫那三行」：

1. 訓練：權重裡有沒有你的文字。共用 token 管的是這一層的「向前看偏好」，而且要等各家真的開始解析。
2. 錨定／回答：模型回答時有沒有引用你、有沒有連結。微軟把這一層做成單頁控制；Google 仍用 Google-Extended 與 Search Console 產品開關；OpenAI 用 OAI-SearchBot。
3. 現場抓取：使用者問一句、模型去打開你的頁。ChatGPT-User、Claude-User 這一層，robots.txt 本來就弱。

三層可以選不同答案。微軟舉的例子是：訓練 Disallow、錨定 Allow——內容可以幫回答、但不進未來權重。反過來只擋錨定、放行訓練，在公開文件裡也做得到。沒有一家把「付費授權」接上這枚 token。想收錢，路仍是合約、付費爬取或訴訟，不是 User-Agent 字串。

站方現在能做的，和還不能省的

現在就把 __usage_ai-training 寫進去，對已經部署 RFC 9309 解析器的伺服器沒有副作用：不認得它的爬蟲會忽略這一個 group。它也還不會讓 Google 立刻停訓、不會讓 OpenAI 在「數月」到期前改變 GPTBot 行為。所以：這三行是預埋，不是開關。 現在仍要按各家文件維持 GPTBot、Google-Extended、ClaudeBot、Applebot-Extended、Bytespider、CCBot、Meta-ExternalAgent 那些名字，除非你已經量過自己的流量、確定某家從不來。

微軟這側有一個會過期的舊標籤。若你靠 NoArchive / NoCache 在擋訓練或錨定，日曆上有四個點：12 月 15 日暫時開關、2 月 1 日新偏好開始被爬、3 月 1 日舊標籤失效、9 月 30 日暫時偏好到期。過了 3 月 1 日才在頁上補 meta，仍可能在重爬後生效，但不保證重爬發生在暫時偏好到期前。IndexNow 可以通知頁面變了、提高被重爬的機會，官方寫明不保證日期。發布設定 ≠ 設定已生效。

單頁覆蓋的寫法，微軟給了兩種載體。擋該頁訓練：

<meta name="Bingbot" content="ai-training:disallow">

或 HTTP 標頭 X-Robots-Tag: Bingbot: ai-training:disallow。擋錨定則把值改成 ai-grounding:disallow 或 ai-grounding:disallowextended。robots.txt 沒有全站 grounding 偏好。選了 Disallow 或 DisallowExtended，官方警告會「顯著降低」內容在 AI 生成體驗裡的可見度，但不影響傳統搜尋資格。

路徑級訓練退出，草案和微軟都允許。例如只擋 /docs/、放行新聞稿目錄。Allow: / 可以顯式表態歡迎訓練；因為預設已是 Allow（微軟）或未表態（草案），多數站不必為了「允許」而加這一行。

開發者工作流上，這枚 token 改變的是「偏好怎麼被讀」，不是「模型怎麼被訓」。大型語言模型 的下一輪預訓練、微調、以及用網頁當上下文的檢索增強生成，仍可能走完全不同的管道。合成語料、授權資料集、使用者選擇加入的對話，本來就不走 robots.txt。OpenAI 把這次範圍寫成「基礎生成式 AI 訓練」；微軟對齊 IETF 對生成模型的工作定義。非生成任務的訓練被詞彙草案刻意排除——搜尋排序模型、分類器、嵌入模型若被解釋成「只做非生成任務」，可能根本不在這枚 token 的射程。

社群端已經有人在清大型站的 robots.txt，比的是誰擋訓練爬蟲、誰仍放搜尋機器人進來。那份清單會因為共用 token 出現而需要重跑：舊檔沒有 __usage_ai-training 的站，對四家來說是「沒表態」或「允許」，即使它們已經 Disallow GPTBot。兩套規則並存的過渡期，讀檔的人會看到互相矛盾的 group。草案說公司專屬 token 不該被當成這份文件意義下的偏好；實作上，Google 卻把「有共用退出、沒寫 Google-Extended」映射成 Google-Extended 退出。映射規則各寫各的，這正是「共用」還沒共用完的地方。

接下來能驗證的東西很具體。OpenAI 有沒有把 __usage_ai-training 寫進 crawler 文件、給不給生效日；Google 2027 會不會再拆成季度；微軟 2 月 1 日之後，Webmaster Tools 的 AI Performance 報表會不會把「因訓練偏好被排除」單獨列出來；Anthropic 會不會補一則產品公告，而不是只當草案作者掛名。在這些更新出現之前，這三行是預留位，舊的一長串 User-Agent 才是現在還能被各家承認的退出方式。