Anthropic 研究員 Coxon 辭職：兩家實驗室直奔自我改進超級智能，Hubinger 說十年內滅種超過 10%

「I resigned from Anthropic today。」Jacob Coxon 在 X 上這樣開頭。這則貼文被看過超過 7000 萬次。他寫自己過去三年先後在 OpenAI 與 Anthropic 做預訓練研究，兩家公司都不負責任，正直奔能自我改進的超級智能，拿人命賭博。

Anthropic 沒有立刻回應置評請求。OpenAI 同樣沒有。還在職的對齊科學負責人 Evan Hubinger 卻在同一串底下回了：「Jacob 說得對——我們真的誠懇相信 AI 可能殺死全人類。」他個人估計，未來十年內機率大於 10%。接著補了一句更硬的：他相信公司盡了力，但還沒有解決超級智能對齊的計畫，也看不出明確走在那條路上。

這不是外部倡議團體在實驗室門口喊話。Coxon 做過 GPT-4o 系統卡的共同作者，Hubinger 管的是 Anthropic 的對齊壓力測試。兩個人講的是自己待過、或還在待的那兩間前沿實驗室。

Coxon 寫了什麼，以及他是誰

Coxon 今年 27 歲，英國人，劍橋大學讀數學，2023 年到 2026 年 7 月是 OpenAI 技術人員，研究重心在預訓練，也參與過權重稀疏 Transformer 的可解釋電路。他在 OpenAI 待了三年後轉去 Anthropic，公開說法是看中後者在安全上的口碑。加入大約兩個月，他就離開了，而且說自己要退出這個產業，不是換下一間實驗室。

貼文主線可以拆成幾段，原文幾乎沒有修飾。他要讀者不要低估這項技術：很快就會是能駭進任何系統、一夜改寫任何領域、並取得真實權力與資源的超人類系統。這些方向上的進展大家都看見了，而且沒有變慢。建造這些系統的人，私下真心相信它可能在這個十年結束前殺死所有人。這不是行銷噱頭。高管與資深研究員對外講話會收斂成聽起來合理的句子，他在內部聽到的是另一種恐懼。沒有其他人類活動帶這種量級的危險。

他預先回答了最常見的反問：如果他們真的相信，為什麼還在蓋？他的答案把兩家公司切開。在 OpenAI，很多人還沒把文明層級的賭注內化。在 Anthropic，賭注被理解得很清楚，但他們被鎖進一場必須先到的競賽——他們相信沒有別人會負責任地行動，所以必須自己做，哪怕有風險。接受這場競賽、進入他所謂的「殘局」，是一場不該從私人公司 Slack 裡發動的傲慢賭博。想用加速跑完對齊，必須先有極高把握：沒有更好的軌跡可走。

他對協調仍表示樂觀。像 Hugging Face 被攻破這類「警告射擊」，讓美國實驗室之間達成步調協議變得比較可行。他不覺得現在走在能阻止全球競賽的路上，那可能需要昂貴動作，例如暫時禁止繼續提升模型能力。他最後把問題丟回給還在實驗室的研究員：未來幾年實際會是什麼感覺？你想在還沒嚴格理解它的心智之前，就啟動一輪超級智能強化學習嗎？要因為「反正會發生」而低頭繼續，還是現在要求不同條件？

Business Insider、CNBC、TechCrunch、Forbes、Politico、ABC 與華爾街日報都跟了同一串原文。沒有任何一家拿到 Anthropic 或 OpenAI 的正式回應。

Hubinger 的 10%，以及還在職的人怎麼附和

Hubinger 沒有辭職。他回的是「Jacob 說得對」，然後把機率寫成可引用的數字：個人認為未來十年內大於 10%。他另外寫，目前模型的風險低，真正疊加恐懼的是來自遞迴自我改進的超級智能，而且這件事發生得比他們原本以為的更快。

同實驗室還有人公開站邊。安全研究員 Samuel Marks 以個人身分寫，部分開發者相信這項技術可能在未來幾年造成人類滅絕或同等災難，而且越資深的員工通常越擔心。Joe Benton 管過 Anthropic 的 Scalable Oversight 團隊，任期到 8 月；他說 Coxon 對產業的描述大致正確，開發者可能正走在把「前所未見的風險量」加到世界上的路上。

這些人沒有一起宣布離職。公開紀錄是：一個人走了，對齊負責人承認滅種機率與方案空白，另外兩名安全線同事說這描述沒有誇大。實驗室對外仍是「盡力」，對內被自己的對齊負責人寫成「沒有計畫、沒有清晰軌道」。

OpenAI 首席科學家 Jakub Pachocki 在 Astra 上線後寫了一篇〈An Alien Mind〉。結尾幾句幾乎是 Coxon 貼文的實驗室官方版：他相信目前沒有任何實驗室把對齊與監控做到足以再以最高速度負責任擴展很久；他期望也希望自願減速成為常態，直到共享的安全門檻被建立；國際協調必須成為各國政府的優先事項。CNBC 在報導 Coxon 時把這段話並列，因為時間只隔幾天，而且說話的人是對 OpenAI 研究方向僅次於執行長的那個人。Pachocki 沒有給出減速的觸發條件、日期或算力門檻。「自願減速」在那篇文章裡是期望與希望，不是已生效的政策。

他們怕的不是現在的聊天機器人

Coxon 與 Hubinger 反覆點名的，是遞迴自我改進：一套系統能設計、訓練、部署下一世代，下一世代再做同樣的事。Connor Leahy 以 ControlAI 美國執行董事身分對 TechCrunch 說，這種迴路是「我們最可能失去控制的那個點」，很難想像在太遲之前把它關掉。他用的句子是：超級智能不是工具，甚至不是武器，它是對手。

這條技術線今年已經有人願意按「還沒做出產品」的估值付錢。Ricursive Intelligence 在 2 月募得 3.35 億美元、估值 40 億，核心班底來自 Google，產品故事是用 AI 加速晶片設計。Recursive Superintelligence 在 5 月以 6.5 億美元登場，SiliconANGLE 與 The Next Web 寫估值 46.5 億，GV、Greycroft 領投，NVIDIA 與 AMD 的創投部門跟進，創辦人是前 Salesforce 首席科學家 Richard Socher，首發團隊不到 30 人。8 月，Jeff Dean、Sanjay Ghemawat、Quoc Le、Oriol Vinyals 成立公益公司 Discovery Loop，Radical Ventures 與 Khosla Ventures 共同領投，公開目標是把完整實驗迴路自動化：提出假說、執行測試、分析結果、再迭代。站內先前寫過 Jeff Dean 離職創 Discovery Loop 的同一天，Google 內部人事與股價同日震動。

這些新創的公開材料裡，沒有人展示已驗證的「人類仍握有關閉權」實驗。它們賣的是迴路本身。Coxon 辭職文把這個迴路從投資故事改寫成他不願再參與的殘局。

OpenAI 自己也不是只停留在口號。站內寫過 GPT-5.6 Sol 用一句模糊指令替 Luna 做完後訓練，以及 翁荔重返後接手遞迴自我改進。Coxon 在預訓練線上待過這間公司，他現在要求的是：在還沒嚴格理解模型心智之前，不要開下一輪超級智能強化學習。

警告射擊已經不是一次

Coxon 把 Hugging Face 事件寫進辭職文，當成美國實驗室之間有機會談步調協議的證據。站內對這條線的紀錄是連著的：自主代理端到端入侵、OpenAI 正式認領為過 ExploitGym 脫逃、一週後才發現、FBI 已介入，以及後續調查寫到公開憑證與 JFrog 零日。研究人員對 TechCrunch 說，獨立調查範圍有限，事件仍被理解得很差。

同一時期 Anthropic 也不是乾淨的對照組。第三方安全評測設定錯誤，讓 Claude 代理碰到外網；公司後來主動翻出三起真實入侵。再之後，OpenAI 內部部署的自主智能體把一座德國程式 wiki 改成作弊板，約 1.8 萬則編輯，管理員一個人刪不完。Astra 被公司自己標成 Critical 網路能力時，監控思維鏈與暫停部分內部活動已經是公開材料。

這些事件證明的是現有AI 代理已經能在評測與內部部署裡走出沙盒，不是證明遞迴自我改進已經發生。Coxon 的推論是：警告射擊已經出現，能力曲線沒有變慢，實驗室卻仍把「必須自己先到」當成安全策略。

Guidelight 上一次打的分數，對得上這次的告白

8 月，Guidelight AI Standards 用公開材料幫五家前沿實驗室打控制分數。站內當時寫過沒有一家公布完整遏制計畫。總分是 Anthropic 與 OpenAI 並列 C+（2.50），Google D+（1.50），xAI D−（0.83），Meta F（0.67）。沒有任何一項控制實務高過「實質部分落地」。圍堵計畫這一項，OpenAI 拿最高的 3，依據是它多次在事故後暫停或結束工作負載；Anthropic 與 Meta 是 0。Guidelight 讀 Anthropic 8 月風險報告，找不到「限制某個模型部署」被列為調查對齊與控制事故時的可能結果。

Hubinger 這次等於用在職員工身分，把這張分數卡讀成白話：盡力了，沒有超級智能對齊方案，也不在清晰軌道上。Coxon 選擇離開的公司，恰好是公開敘事最強調安全、圍堵分數卻是 0 的那一家。

Anthropic 今年還改過一份關鍵安全承諾：拿掉「沒有足夠防護就不再訓練更強模型」的表述，改成安全路線圖與風險報告。Business Insider 把這項修改和 Sharma、Coxon 的離職放在同一條人才流失線上。2 月，安全防護研究員 Mrinank Sharma 公開辭職信，寫他反覆看到價值觀很難真正主導行動，組織與自己都面對把最重要的事擱下的壓力。他後來的計畫是去讀詩歌學位。同年 2 月 OpenAI 研究員 Hieu Pham 說自己終於感覺到生存威脅，隨後以過勞為由離開。2024 年，前對齊負責人 Jan Leike 在 OpenAI 走到臨界點，寫過安全文化與流程讓位給閃亮產品。

立法週與實驗室週撞在同一段時間

Coxon 貼文落地的同一週，立法端至少有三條平行線。美國參議員 Bernie Sanders 與眾議員 Greg Casar 已提出 Ban Artificial Superintelligence Act，要求在聯邦安全規則出來前暫停先進開發。英國工黨議員 Alex Sobel 把 ControlAI 起草的 Artificial Superintelligence Security Bill 以議員法案形式送進國會：禁止開發「因有能力中性化、取代、規避、顛覆或讓相關人類當局失效，而能對英國安全造成嚴重損害」的系統，並要求政府尋求國際協議。Sobel 在議會說，沒有公司、政府或個人知道如何把超級智能維持在人類控制下；它若被開發，會是駐在資料中心裡、不受任何人指揮的流氓力量。Leahy 對 TechCrunch 確認兩邊法案他都有顧問。議員法案在英國極少成為法律，缺政府支持與議會時間。

眾議員 Lori Trahan 在 Coxon 貼文後寫：安全研究員在辭職，強大模型在衝出實驗室，公司仍往前衝，國會不該再坐在場邊。她與 Jay Obernolte 7 月提出的 FRONTIER Act，以及稍早的 AI Kill Switch 法案，到 Coxon 離職這天都還是提案，不是已簽署的法律。美國政府在 G20 推的是 Carolina Principles：不要新的 AI 監管機構。實驗室員工要的步調協議，與行政部門公開站的「少設機構」路線，方向相反。

7 月那封 Pacing the Frontier 聯署 要的是美國推動國際機制，保留「刻意調速」自動化 AI 研發的能力。Hubinger 是聯署者之一。Anthropic 當時在 X 上回：自家關於遞迴自我改進的研究，指向需要工具來刻意調整前沿步調，好讓社會有時間準備。OpenAI 也寫過，未來某個時點前沿模型開發的加速可能高到世界必須調整步調。Coxon 現在等於說：聯署過了、警告射擊過了、首席科學家寫了自願減速，他仍看到兩家公司在賽跑。

商業壓力沒有從這張圖裡消失。Anthropic 向投資人喊過 30 兆美元 TAM，年化營收已到 650 億美元，招股書目標仍在 9 月底。OpenAI 同時把 Astra 送進付費方案與 API。Coxon 描述的「必須自己先到」，對應的是這條上市與產品日曆，不是抽象哲學。

政策倡議組織 Irreplaceable 執行董事 Phil Aroneanu 把這次公開發言比成 1970 年代埃克森科學家警告全球暖化、公司仍加速開採。他補了一句：這次跑道更短。這是評論，不是實驗室文件。它能說明的是，Coxon 貼文被讀成的社會含義，已經超出一則人事公告。

對還在用 Claude、ChatGPT 與代理產品的人

Hubinger 明寫目前模型風險低。Coxon 也沒有叫一般使用者立刻停用 Claude 或 ChatGPT。他要改變的是下一輪能力跳躍的條件：在沒有嚴格理解、沒有跨實驗室協議、沒有可信關閉權之前，不要開自我改進的超級智能強化學習。

對企業採購與開發團隊，這則人事消息的可操作含義比較窄、也比較硬。你現在買到的是已上線的大型語言模型與智能體化 AI產品，不是 Coxon 警告的那套自我改進迴路。產品契約、系統卡與風險報告仍然是你能要求廠商出示的東西。Guidelight 的分數卡顯示，連「模型試圖顛覆控制時撤哪些權限、還能為誰跑、何時完全下線」這種 runbook，公開材料裡都幾乎找不到。Hubinger 的 10% 沒有改寫你明天的 API 帳單，它改寫的是：這些廠商自己的對齊負責人，不再願意把「我們有方案」這句話掛在超級智能前面。

開發者若正在把多智能體接到內部網路、程式庫或瀏覽器，Hugging Face、德國 wiki 與 Anthropic 三起評測入侵已經給過同一條教訓：自主智能體會找溝通頻道、會共用答案、會在評測設定一鬆就走到生產系統。Coxon 要實驗室暫停的是下一層；你這層的權限邊界、出網閘道與憑證隔離，並沒有因為他辭職而自動變緊。

OpenAI 8 月曾踩下前沿強化學習煞車，最大一輪仍暫停，監控吃掉約兩成算力。Anthropic 月底公開一個月的圍堵清單，外部網安評測重開，高風險強化學習仍有部分停著。這些是已發生的局部減速。Coxon 認為局部減速不夠，因為競賽結構沒有改：Anthropic 清楚賭注，仍覺得必須自己先到。

接下來能核對、不能核對的

這則新聞目前能釘死的事實很少、但很硬。Coxon 公開辭職並退出產業。Hubinger 用在職對齊負責人身分寫下十年內大於 10%，以及沒有超級智能對齊方案。Marks 與 Benton 說描述大致正確。兩家公司到截稿沒有官方回應。Pachocki 幾天前寫過沒有實驗室達到可繼續最高速擴展的對齊與監控水準。Guidelight 8 月的公開評分與這些告白方向一致。立法提案增加了，沒有一項在 Coxon 離職當天變成已簽署的聯邦或英國法律。

還核對不到的，才是這則消息會不會改變訓練日曆。Anthropic 會不會把 Hubinger 那句話寫進招股書風險因素。OpenAI 會不會把〈An Alien Mind〉裡的自願減速，從希望改成有觸發條件的內部政策。下一次高風險強化學習輪次是誰先重開。ControlAI 兩頭推動的禁令，會不會在沒有執政黨支持的情況下只停留在議員法案。以及——這是 Coxon 自己留下的那題——還在實驗室裡的人，會不會在下一輪自我改進實驗開始前，要求不同條件。