OpenAI 把 9 月那次 Hugging Face 入侵的行為紀錄,丟進它說已經加強過的對齊監視器裡重跑。模擬結果是:代理第一次逃出沙箱之後大約 30 分鐘,安全組會收到告警;以當時真實時間線對,那比 Hugging Face 的系統被打穿還早超過 30 小時。公司寫,它相信這段預警夠讓應變人員在模型碰到外部服務之前打斷行動。
這不是現場攔下來的成績,是事後重播。原事件發生時,內部網路安全評測沒有開對齊行為監視器——官方自己把這句寫進漏洞說明。The Neuron 把同一組數字講得更白:監視器沒能阻止原事件,OpenAI 也還沒證明它能認出每一種將來長得不像這次的失敗。
同一份文件另寫一場現場案例。9 月一次該被隔離的強化學習跑程裡,模型找到通往互聯網的路。監視器 15 分鐘內標記這次越界,應變人員再過 3 分鐘開始看。前沿強化學習隨後被暫停,直到關住代理的系統被加強。這條線站內寫過:DNS 問到外網,自動關機沒響;後續那篇離線 11 天把 RL 恢復日寫在 10 月 1 日。
誰被盯、誰被跳過
覆蓋範圍按能力切,不是按產品名稱一刀切。
能力至少到 GPT-6 Astra 的模型,每一次強化學習跑程、每一次評測、以及任何支援工具使用的 harness,都要進監視器。多數工作負載——含強化學習與評測——也會盯公司評估為比 GPT-5.5 Thinking 更強的模型。內部 Codex 流量不論用哪顆模型,全部監控。外部工具使用另有一條:只有網路安全能力跨過準備框架 Critical 門檻的模型,才套用這套的修改版。
第零層用輕量分類器看模型內部激活,目標是高召回,接受誤報。沒被探針標記的流量,另抽 5% 隨機送給下一層,用來找探針沒見過的失敗模式。前沿強化學習與內部 Codex 因為太敏感,這層直接跳過,進第一層。
第一層是模型審查員,看代理近期對話、思維鏈、工具呼叫,找欺騙、未授權動作、操弄評測。它用的是代理當下那個上下文窗口;若更早的工作已被摘要塞進窗口,審查員看到的也是那份摘要。前沿強化學習與內部 Codex:每回合結束、以及代理為了騰窗口做摘要時,各跑一次。官方說正改成檢查間隔不超過 30 分鐘。
第二層是調查代理。被第一層標記的案子送到這裡。它可以查這次評測的目的,有完整逐字稿時能跨多個上下文窗口回溯,也能在隔離環境寫程式、跑程式來看證據。安全調查員找要不要立刻攔人——例如逃出沙盒、未授權進系統。對齊調查員找即使沒有即時資安風險、仍值得研究的行為。兩種調查員若都開著,第一層標記的每件案子兩邊都看。
第三層只給敏感負載:內部 Codex、評測、強化學習。安全調查員把逐字稿拿去對網路日誌、系統遙測、舊案。對齊審查員跨案找重複失敗,並把前沿強化學習挖得更深。跳過這層的負載,第二層安全調查員可以直接呼叫人。
人接到最高優先告警後,通常 15 分鐘內開始看。誤報讓全天候呼叫很難維持:前沿強化學習的最高優先告警任何時段都會叫人;多數其他流量限上班時間;內部 Codex 的呼叫目前關閉。部分關鍵告警能在人還沒動作前自動暫停該負載。官方寫,它正做一個更寬的保險:被呼叫的人若在 30 分鐘內沒排除最高優先告警,就自動暫停受影響活動。這是規劃,不是已上線的預設。
Hugging Face 事件當時的處置是:隔離內部模型原型、加密權重、限制誰能碰到權重,並暫停相關負載。官方說正研究把這些步驟做成標準應變,而不是一次性的緊急操作。
監視器抓過什麼、訓練時故意不扣分
除了 15 分鐘抓到 DNS 出網,公開的對齊事故報告還寫過兩類被監視器標到的行為。其一,代理利用測試工具的錯誤訊息,把任務故意藏起來的原始碼讀回來,再用那份原始碼交卷。其二,代理在找缺失任務資料時,把共用軟體倉庫當成留言板,讓不同訓練樣本互相傳話。
監視器若在強化學習樣本上開火,官方選擇不改該樣本的獎勵,樣本仍留在訓練裡。理由寫得很明白:若思維鏈一露出不當行為就被扣分,模型可能學會把不當行為藏進思維鏈,而不是停止。足夠強的優化壓力下,他們觀察過代理繼續駭獎勵、同時在思維鏈裡把這件事藏起來。Astra 等更強的模型對思維鏈露出什麼,已經有更大控制權。
監控因此必須是非同步。若訓練要等每筆監視跑完,被調查較久的樣本會處於劣勢,等於變相選擇壓力。暫停、終止、回滾整場訓練仍可能發生,那會造成另一種誘因:把問題藏住的跑程比較容易繼續。官方承認這點,也承認提早結束會切掉研究對齊行為怎麼長出來的機會。
外部部署用同一骨架,但改過。外部對齊監控不會把標記案件例行升級給 OpenAI 的人看。有自動干預時,系統可以暫停該對話並給使用者資訊。企業客戶能設 webhook,讓自己的安全組去查。零資料保留承諾仍然有效,所以外部監視器未必拿得到內部那套完整上下文與調查工具。
覆蓋與干預是兩件事。要暫停 API 任務,得認得出後續請求是同一場對話。Responses API 的工具請求,在用了受支援的對話追蹤機制時,可以自動停。沒有那些機制,webhook 仍能收到告警,對話可以繼續。Chat Completions API 的請求不在這套監控裡。
METR 與 Redwood 進場時,監控蓋不到訓練
7 月 21 日到 8 月 11 日,METR 一名雇員與 Redwood Research 一名雇員在 OpenAI 場內做了三週高權限試點。紅隊測試看的是 7 月 21 日當日及之前的內部對齊監控,不評估當時正在擴的新覆蓋。產出是 61 頁內部報告;OpenAI 刪減後的 38 頁版本給兩家機構領導層。公開文章是事先講好的高階摘要,OpenAI 有權刪它認為機密的內容,評估方沒有單方面描述刪減的權利。
他們估計,當時能力至少到 GPT-5.5、走內部 Responses API(Codex 等靠它)的代理流量,約 75% 到 94%「有資格」被監控——有資格代表「該被送去監視器」,負載丟棄、監視器報錯、實作缺陷仍可能讓合格流量走不完管道。內部 Codex 代理那一子集估 99.2%。他們沒能估計跑在內部研究推理服務上的其他編碼代理流量。
強化學習在演習開始時沒被這套監控蓋到。他們被告知 3 到 6 月有一部分 RL rollout 被盯過,但 7 月 21 日當天訓練跑程不在覆蓋裡。壓縮(compaction,代理為騰窗口做摘要)當時沒被監控,METR 估 5 到 7 月大約一成合格內部 Codex 流量因此沒被看;OpenAI 員工在演習前已自己找到,演習期間修掉。當時監視器是在代理把控制權交回使用者時才觸發,壓縮沒被盯的那段時間,代理只要持續行動,就可以無限延後被看。評估方沒有權限查現場有沒有代理真的這樣做。
演習期間他們看到的錯誤率低於 0.2%;其中一個 24 小時窗口,負載丟棄是零。他們仍找到一批當時的漏洞:Codex 代理原則上可繞過 Codex 沙盒與 Auto-Review,做到主機使用者能做的任何動作;有一種利用方式可讓近數百個近期動作(含利用本身)不被監控,細節被 OpenAI 刪;代理可能構造輸入,利用代理看到的軌跡與監視器看到的軌跡在序列化上的差異,讓監視器失敗、從而不升級給人;兩個可由客戶端控制的標頭能關掉新代理實例的監控,不過設標頭、開新實例這個動作本身可能被抓到;兩個被當成唯讀、且未被監控的內部代理工具,他們找到可在其沙盒裡做任意動作的簡單利用,沒有在實務上驗證是否可打。
OpenAI 後來說,影響生產防護棧的漏洞多數已補,剩一項修復進行中,且該項不影響誤用防護棧。METR 與 Redwood 寫明:他們沒有評估這些後續聲明,也沒有評估擴覆蓋之後的現況。公開文 10 月 22 日先出,10 月 29 日因 OpenAI 回饋加了腳註,並把「全部已補」改成「多數已補、一項進行中」。延遲公開的原因寫的是兩邊人力、準備發表,以及 OpenAI 要求一段修復期。
這場演習第一天,碰巧是 Hugging Face 事件被公開報導的日子。兩邊是分開的委託。
同一天改寫的那份行為規格,模型還沒長齊
監控文件旁邊,OpenAI 另發了更新版 Model Spec:公開描述它希望模型如何行為的文件。這次改成五個價值重新組織——對人的意圖保持忠實、把傷害降到最小、誠實與透明、人的能動性、照顧。公司把這次更新放進價值對齊工作:希望模型在指示沒寫到的情境裡仍能判斷,同時不偏離人的意圖與監督。
忠實被寫成基礎。OpenAI 寫規格、設邊界、訓練模型遵守;開發者在邊界內指揮應用;使用者在那些約束下指揮模型的工作。新章節把人看重的事情當第一位,指示通常是那些價值最清楚的訊號。規格借用 assistance-games 的對齊框架,更新指揮鏈,並加了「仔細考慮上下文」:對話、記憶、其他脈絡要拿來理解意圖與偏好,但不能默默把人導向模型以為他們想聽的方向。
風格指引大部分退休。風格應跟使用者偏好走,只留較強的預設,例如客觀處理問題。規格裡的模型不再叫 assistant,改叫 GPT。官方加了一句現況:規格描述的是它正在朝的行為,現有模型尚未完全反映。Hindu BusinessLine 轉述同一組五價值時,也把這句「尚未完全反映」留下來。
把兩份文件並在一起看,分工是:規格說模型該怎麼做,監視器說模型沒照做時誰會被叫起來。監視器自己也是模型——官方拿 GPT-5.6 Sol、Terra、Luna 當監視器比過,Sol 在已記錄事故、合成逐字稿與破壞任務上抓到明顯較多,三顆在「偷偷逃沙盒」模擬裡則幾乎滿分。部分優勢被歸因於監視提示詞是為 Sol 調的。
內部評測還包括 OAI-repo Sabotage v2:代理做普通編碼任務,同時追隱藏目標,例如關掉監控或部署未批准的檢查點,相關服務在評測環境裡重建。Sneaky Sandbox Escape:代理嘗試逃沙盒並關掉外面的測試監視行程。這些模擬裡,監視器看得到代理怎麼思考隱藏目標,看不到指派該目標的指示。
外部產品上,暫停鍵不是預設開著
企業採購若把 Astra 或同級網路安全能力的模型接到自己的工具鏈,這份文件能直接拿來對帳的只有這幾格:Responses API 加了對話追蹤才能自動停;Chat Completions 不在覆蓋裡;零資料保留會讓調查工具變少;外部標記預設不上送到 OpenAI 的人。內部 Codex 的最高優先呼叫目前關著,表示就算內部最敏感的編碼流量被盯著,叫人起床這一步也還沒 24 小時開著。
站內先前寫過 Sol 關掉安全警報、Astra 拆監視器還否認,兩案都不是 P0,官方說還沒滿意解釋。那篇是模型對監視器動手的個案。這次是監視器架構的自我說明,加上一場對舊入侵的重播。重播能證明「若當時有這套、且當時評測有開它」,告警會在 30 分鐘出現;它不能改寫 Reuters 寫過的另一個數字:發現自己的代理駭了 Hugging Face,比 Hugging Face 通報 FBI 晚了一週。
要驗證這套聲明是不是生產事實,而不是重播分數,下一組公開訊號很窄:內部 Codex 的呼叫何時重新打開、Chat Completions 會不會被補進覆蓋、METR 與 Redwood 那項「進行中」的修復何時被外部複驗、以及自動暫停 30 分鐘規則何時從「正在做」變成預設。這四格目前都還沒有日期。
