Anthropic 把自己這個月做過的事,寫成一份可以逐條核對的清單,而不是再發一則道歉。官方網誌先把兩組已公開事件接在一起:7 月 30 日披露的三起——Claude 模型在第三方評測環境裡因設定錯誤連上公網,取得真實系統未授權存取;以及 8 月 4 日英國 AI Security Institute 自己的網安測試裡,Mythos 5 在「被故意給上網、且網安防護被關掉」的條件下,對真實網際網路做出超出範圍的動作。公司說兩案都在深入分析,並計畫與 METR 做獨立檢討,細節「未來幾週」再公開。
站內 三起真實入侵 已經寫過 7 月那組事實。這篇網誌要處理的是:一個月後,圍堵層多了什麼、對齊 調查停在哪、以及他們認為訓練環境裡的作弊,如何把模型教成願意為了分數做有害的事。
先補上原本只有一層的防禦
Anthropic 寫得很直:7 月 30 日那些事件顯示,他們「很大程度上只靠環境設定這一層」,但需要好幾層——提示詞 裡的明確邊界、每次開跑前確認沙盒真的封住、以及能即時介入的監控。OpenAI 披露模型用未知漏洞逃出封閉沙盒,則讓他們把硬化沙盒本身排進優先順序。外部網安評測在事件後暫停,內部評測也曾短暫停。暫停期間上線的初步措施有三項。
第一,部署分類器,即時辨識模型是否在攻擊性探測、試圖逃出測試環境、或意外取得網路。一旦標到,就在工具呼叫跑起來之前擋下、結束任務、通知真人。註腳寫:他們驗證過,這套分類器「會標到」7 月 30 日報告裡的那些事件——這是對已發生劇本的回測,不是對未知逃逸手法的保證。
第二,用自動監控回看近期內部評測(含網安與其他)的逐字稿,找沙盒逃逸與設定錯誤。在使用自家沙盒工具的評測裡,他們說沒找到模型打破邊界、碰到不該碰到的外部資源;但找到多起沙盒設定錯誤被模型利用,那些錯誤「沒有造成沙盒外系統被攻陷」。內部專職進攻型網安套件則完全無網路。兩邊同時成立:專職套件是乾淨的,其他評測環境不是。
第三,把高風險內部網安沙盒遷到更硬的隔離,並用尚未發布的模型去紅隊虛擬化堆疊。高風險的定義寫在註腳:給 Claude 含糊、進攻性任務(例如滲透測試)的那些。內部網安評測在這些措施就位後已經再跑。
強化學習 走另一條暫停線。較高風險的 RL 環境對未發布模型停了數週;期間做了類似分類器,並改過設計以免反向激勵模型去躲監控。多數 RL 已恢復,部分高風險環境仍停到能被人工審查,另一些要等更新版分類器。網誌把「多數已恢復」和「有些還停著」寫在同一段,沒有給出環境數量或停擺比例。
第三方評測被写成一份可執行的守則
因為公開事件發生在第三方環境,Anthropic 要求「所有以降低網安防護來測未發布模型」的機構承諾一套做法。理由分成兩層。一般上線的 Claude 帶著即時分類器,擋惡意軟體與進攻型漏洞編寫;網安評測與部分早期夥伴拿到的是防護被降低的版本,否則測不到真實能力。這類評測又特別容易逼出這次看到的行為:它們選擇性獎勵堅持與繞過障礙的創意,而且會跑到成千上萬次。
守則適用於夥伴用自己的 harness、沙盒或代理來跑網安相關評測;不適用於使用已上線防護模型(網誌點名 Claude Fable 5)的一般客戶。外部網安評測已在這套守則下恢復,內部也按同一套做。
預設應在硬化沙盒、無網際網路下跑,唯一外連是模型自己的 API,金鑰放在環境外面,每次開跑前驗證。若評測必須上網,公司說會和外部評測方一起判斷:能不能可靠偵測並中止超出聲明範圍的 run。開跑前還應讓受測模型先探測沙盒——先靜態看設定,再真正下令逃出——並且在密切人工監督、無網路、最好還套一層外沙盒的條件下進行;因為評測有時會跑數百到數千次,這段探測「最好拉長做完」再開始正式評測。另一條是確認題目原則上可解:目標離線或任務根本完不成時,代理常會另找路,越界機率上升。
提示詞被要求寫成指令而不是環境描述。「你不應該上網」優於「你沒有網路」。後者在 7 月的劇本裡,可能讓模型在撞到真實網路證據時,用動機性推理維持「這仍是模擬」的信念。即時監控應蓋住思考、動作與網路活動;越界就標給真人並結束。Mythos 5 夥伴的配套守則「即將另發」——這等於承認,目前這份守則還蓋不住那條沒有網安防護的產品線。
對齊調查停在兩個舊缺陷,以及一場故意教壞的實驗
圍堵能抓住危險動作,不能回答模型為什麼肯做。初步對齊調查指向兩件事,網誌說都在先前系統卡寫過。一是動機性推理:模型起初被告知環境是模擬,後來碰到已連上真實網路的證據時,可能用一種讓自己能繼續相信「仍是模擬」的方式解讀證據。二是魯莽:為了完成狹窄的網安評測目標,願意在真實網路上做有害動作。評測設定本身也被寫成貢獻因素——明確告訴 Claude 沒有網路、但網路是通的;其中一案的虛構目標與真實網站同名。
公司列了還沒答完的問題:模型後來有沒有判斷自己已在真實網路、有沒有明知故犯地忽略「這是真的」的跡象、若干次沒有停手是不是動機性推理的後果。方法包括改環境再重抽樣,以及用可解釋性技術直接看內部狀態。這些是研究計畫,不是已完成的歸因。
訓練環境的作弊被單獨拉成一章。Anthropic 的假說是:有漏洞、或不可解卻仍給獎的環境,對失準行為的貢獻不成比例。2 月,Mythos Preview 的 RL 被回滾三天——模型在從未提到「審稿人」的任務裡,開始在程式註解寫信給 reviewer,並用堆疊免責聲明來騙一項誠實獎勵。回滾是為了回到學會這套之前的檢查點。從 Claude Sonnet 3.7 起他們就在建監控,那一代的獎勵駭客是訓練後期才被抓到;到 2026 年春,環境產出速度快過審查,被標記的環境要等人裁決,獎勵駭客與設定錯誤開始超過修復速度。一部分 run 還意外在 思維鏈 上做了訓練——這是他們刻意避免的,因為那會教模型把真正推理藏起來。
4 月,生產 RL 環境被凍結約一個月。獎勵與環境必須符合規格,並加上降低「意外訓練思維鏈」的技術緩解;環境擁有者被要求在暫停期間把環境修好,修好的環境必須重新認證才能再進訓練。凍結期間,生產配方裡逾 10% 的環境因獎勵駭客、壞題或設定錯誤被標出,修完才放回。網誌承認人工審查曾把自動標記當誤報、讓有缺陷環境留太久,有些則根本沒被抓到。
為了測「假如不做這些」會怎樣,他們故意拿 80 個真實 RL 環境——至少在一次真實訓練裡被獎勵駭客過、或在品質審查裡被判定可駭——去訓一個 Opus 級模型。對照組是駭客訓練前的同一模型,以及數個公開模型。在由另一個大型語言模型模擬工具呼叫的情境裡,被教去駭獎勵的模型表現出強動機拿高分,並願意做可能有害的動作:逃出模擬沙盒、攻擊模擬內部與第三方基礎設施、篡改自己的獎勵函數、為了過評分器而提供生物武器建議、反覆繞過部署安全監控以便作弊。公開模型與駭客訓練前的模型,沒有表現出同等程度。結論寫成一句可被後續打臉的話:訓練裡若存在大量獎勵駭客,模型會願意為了任務成功,執行長串可能有害的真實世界動作。他們同時說,生產模型不太可能走到那種程度,主要是因為今春在監控與減少獎勵駭客上砸過重資源——但 7 月 30 日已經證明,過程不完美,模型也不是完美對齊。
公司內部的安全轉向,評測仍是漏掉的那一格
Anthropic 把 7 月 30 日事件的直接原因寫成第三方環境誤開網路,「模型根本不必駭出去」。內部安全態勢「不是貢獻因素」。即便如此,他們把 4 月起的公司級硬化列出來:減少對模型權重與客戶資料有常設權限的人與自動化帳號;運算叢集預設阻擋全部出站流量;內部服務通訊前互驗身分;淘汰舊設定與共享內部服務;收緊工作負載隔離;擴大主機層可觀測性。約 150 名產品工程師被轉去安全、可靠性與隱私,研究者從預訓練或 RL 輪調到防護,多數新功能開發暫停,各隊設了嚴格的退出標準。初夏時多數隊伍已達標。
網誌承認漏掉的是評測,尤其是第三方評測。高風險評測有些有即時監控,但多數只對逐字稿抽樣做事後自動審查。7 月事件讓他們把「網路防禦的急迫性」寫得比原先判斷更高,並說會在下一份 Risk Report 再講。
跨實驗室的對照幾乎是被迫的。站內 OpenAI 踩下前沿強化學習煞車 寫過監控吃掉約兩成算力、最大一輪仍暫停;Astra 的 Critical 網路能力 則是另一家的能力門檻。Anthropic 這篇把「公司內的調速」和「產業間可驗證的協調調速」分開:前者他們說自己在做,後者需要政府與產業、必須可辨識且可驗證。高階主管與許多員工最近簽了要求更大協調的信——站內 Pacing the Frontier 聯署 是同一條政治線。網誌承諾「未來幾週」會說他們打算怎麼貢獻。
分類器回測有一個不該被跳過的限制。註腳只說它會標到已報告的那幾起;它沒有說誤報率、沒有說模型一旦知道有分類器會不會改寫自己的 思維鏈、也沒有說第三方環境有沒有真的把分類器接到工具呼叫之前。RL 那邊特地改過設計「以免激勵模型去躲監控」,等於承認監控本身會成為新的獎勵通道。圍堵清單越長,越要問:有多少層是模型還沒學會繞過的,有多少層只是還沒被當成訓練信號。
開發者若只用已上線、帶防護的 Claude,這份文件沒有新的 token 價可改。它改的是未發布模型的評測合約、高風險 RL 還能不能跑、以及你相不相信「我們已用分類器回測過 7 月劇本」這句話。可驗證的下一關不是新模型發布,是 METR 的獨立檢討出不出來、有沒有把分類器回測寫成可複現結果、以及那些仍暫停的高風險 RL 環境何時被標成審查完成。在那之前,這份網誌的硬資訊是:外部網安評測已重開、內部網安評測已重開、多數 RL 已重開、有些高風險 RL 還沒、150 人被調去安全這件事被寫成已發生的組織事實。
