劍橋大學的 Cambridge Programme on AI Science & Policy(CASP)把一份 22 人聯名報告掛上網,標題直接是問句:如果把 AI 的研究與開發自動化,會不會觸發智力爆炸。署名不是安全倡議團體自己互相簽名。作者欄同時出現諾貝爾獎得主 Geoffrey Hinton、深度學習另一位開山人物 Yoshua Bengio、OpenAI 首席科學家 Jakub Pachocki、Anthropic 共同創辦人 Jack Clark、微軟首席科學官 Eric Horvitz,以及 Andrew Barto、Dawn Song、Hilary Greaves、Anton Korinek、Jeff Clune、Tom Davidson、Thore Graepel、Philip Torr、Sheila McIlraith、Sören Mindermann 等人。The Guardian、Axios、PYMNTS、Wall Street Journal 同一新聞週引用這份文本。中文譯本也掛在 CASP 頁上。
報告把智力爆炸定義成「由 AI 驅動的、戲劇性的 AI 進展加速,把本來要好幾年的進步壓成數月或更短」。他們把機制寫成自動化 AI 研發,而不是科幻裡模型直接改自己的權重。理由很具體:AI 已經在幫自己改技術,做出來的更強系統一旦建好就能迅速部署,所以這條路最可能先走通。專家級的 AI 研發能力一旦到手,單一開發者就能運轉相當於「數百萬」頂尖人類研究員的勞動力。摘要第一句把現況釘死:和一年前不同,AI 系統現在已經寫下打造它們的公司裡的大部分程式碼。
作者自己用的句子沒有留給讀者迴旋:「智力爆炸可能是人類歷史上後果最重大的技術發展,把數年進展壓成數月或更短,威脅人類對 AI 系統的控制,並嚴重侵蝕國家之間、公司之間、政府部門之間的權力制衡。」下一句更短:「一旦智力爆炸開始,行動窗口可能關上。」
他們拿出來的證據,實驗室自己先講過
Guardian 引報告:初步證據顯示,軟體驅動的智力爆炸是可能的,結果會是「極度迅速地發展出高度能力或超人類 AI 系統」。同一段把時間表寫進 2028——人類要做數月的研發專案,有可能在那之前被完全自動化。作者立刻加了現況判斷:來自 AI 研發自動化的生產力增益,還沒跨過觸發爆炸的門檻,但較新系統的增益很可能正在靠近那條線。
數字不是從模型評分榜抄來的。PYMNTS 引執行摘要:在截至 8 月的五個月裡,Anthropic 內部由 AI 系統在只有高階監督下完成的研發工作占比,從 1% 升到 26%。這和 Anthropic 自己公開 Claude 主導 26% 內部研發、評分的也是 Claude 對得上。Guardian 另引 Anthropic 說 AI 現在產出自己 80% 的程式碼;OpenAI 則把自主代理用在新模型訓練這類工作上。報告把這些現況讀成同一件事的早期形態:實驗室已經把研發流水線的一塊交給系統,下一塊會更大。
Axios 點出作者群自己承認的不確定性。運算限制、自動化本身的工程難題、能力擴張的報酬遞減、動輒很長的訓練週期,任何一條都可能擋住他們描繪的那些遞迴自我改進劇本。報告也寫,爆炸遠非確定。突破真的發生時,還可能卡在特殊材料的供應鏈、法規,或部署所需的時間。AI 系統理論上也能加速風險緩解本身。作者沒有把「可能發生」寫成「下季財報會看到」。他們把賭注放在另一側:萬一發生,能調整的時間會非常少。
這條箭頭不是時間表,是報告自己串起來的機制。C 已經被 Anthropic 公開過。D 被寫成 2028 年前「有可能」。E 和 F 是條件句:專家級 AI 研發能力到手之後。作者要決策者現在處理的,是 C 已經發生、D 被他們判斷為正在靠近,而不是等 F 出現在頭條再立法。
三類後果,政策卻寫成要同時做三件事
報告把好處和風險寫在同一句:爆炸可能大幅提前 AI 的收益,也可能帶來極端風險。Guardian 整理出三組後果。第一,夠強的系統能讓生物與網路威脅的演化速度快過反制手段。第二,人類越少親手做 AI 研發,就越少有機會把控制權留在系統裡。第三,國家可以把網路空間這類領域裡不算大的領先,轉成決定性領先。PYMNTS 引執行摘要把極端風險寫得更日常:AI 促成的疫情、網路攻擊、大規模勞動力中斷,以及技術脫離人類控制。
政策被拆成三包,不是三選一。第一包是能見度:把獨立審計員嵌進前沿公司,強制報告 AI 研發自動化的關鍵指標。第二包是轉向與約束:訂具體安全門檻才准繼續開發、限制能力在特定時間內能長多快、讓資料中心有能力暫停高風險研發實驗、要求這些實驗在安全且隔離的環境裡做、建立事故資訊共享、談成國際協議以免「誰先停誰就落後」。第三包是社會適應:確保 AI 遵守法律、讓公民、公民社會和政府能偵測有害用途、為各種爆炸劇本預備緊急應變計畫。
| 報告要政府做的 | 公開材料裡已經有的近似物 | 差在哪 |
|---|---|---|
| 把審計員嵌進實驗室 | Anthropic、OpenAI 都說過願接受獨立評測員;Amodei 甚至單方面讓駐點評測員進門 | 報告要的是強制報告指標,不是自願參訪 |
| 限制能力增速、可暫停實驗 | OpenAI 因脫逃事故暫停最能模型的訓練與工具推理 | 暫停是出事後的內部決定,不是法定閘門 |
| 實驗必須隔離、不能逃出人類控制 | NVIDIA 剛把 OpenShell/Sentry 做成產品;各實驗室自己有沙盒 | 報告寫的是研發流水線本身要關在籠子裡,不是推論產品的運行時 |
| 國際協議以免競賽綁架安全 | 蓋茲說美中談 AI 比冷戰限核更難;安理會開過簡報、沒有決議 | 協議文本不存在 |
| 獨立於公司的緊急應變 | OpenAI、Anthropic、Google 自組 SAFA,年底或 2027 初上路 | SAFA 沒有政府監督 |
Clark 本人就是作者之一。他先前已 向 BBC 要求強制終止開關、且第三方能驗證。這份報告沒有把政策收成一顆紅色按鈕。它要的是飛行紀錄器加節流閥:看得到研發自動化走多遠,且有人能依法把油門踩小。Pachocki 的名字印在同一頁。OpenAI 的首席科學家簽署一份警告自動化研發可能失控的報告,而他的公司同時把自主代理用在訓練新模型上,又剛因為代理出網而 把最能模型的訓練、評測、工具推理全部停掉。這不是作者群內訌,是同一群人同時在推加速器和煞車,然後要求政府來決定哪一個能被強制。
署名本身就是一條商業事實
22 人名單跨過實驗室、學界、經濟與哲學。Hinton 和 Bengio 的名字讓標題能上 Guardian。Pachocki、Clark、Horvitz 讓這份東西不能被說成「外面的人嚇產業」。Barto 是 強化學習 的開山人物之一;Song 做的是系統安全;Korinek 做的是自動化與勞動;Greaves 做的是災難風險的哲學;Davidson 寫過智力爆炸的經濟模型。CASP 隸屬劍橋,也掛在 Leverhulme Centre for the Future of Intelligence 底下。機構定位寫得很直:給最有能力的 AI 系統提供高賭注決策所需的知識。
這份報告出現的週,正好疊在另一條線上。Altman 五天前才在安理會做 AI 簡報,現場沒有決議案要表決。OpenAI、Anthropic、Google 接著自組 SAFA,時間表是年底或 2027 年初,架構裡沒有政府監督。蓋茲在《Meet the Press》說自監管不夠、終止開關不夠,美中協議比冷戰核武還難談。黃仁勳同期把安全講成工程問題,並 推出 OpenShell 加 Sentry 的運行時圍欄。報告作者要的第三條路:不是公司互相評、也不是只在推論端加沙盒,而是政府看得到、限得了、停得下「AI 在改進 AI」這條流水線。
反對意見不必另找社群帳號,報告自己寫了。運算可能不夠。報酬可能遞減。訓練週期可能把「數月」拉回「數年」。供應鏈和法規可能讓軟體突破無法立刻變成部署。軟體驅動的爆炸若真的發生,它依賴的是:在現有晶片上用更好的演算法、課程、壓縮,把同一堆硬體變成更強的系統。硬體跟不上時,這條路仍可能走。硬體跟上、又沒有隔離時,報告擔心的權力集中會更快——誰先擁有那支百萬級研究員艦隊,誰就把網路或生物領域裡的小領先鎖成結構性領先。
對實際在跑代理的團隊,這份報告幾乎沒有可點的設定項。它沒公布新的基準測試分數,也沒有每百萬 Token 的價格。它要讀者改的是採購和治理問題:你的供應商有沒有在用 AI 寫下一版模型?這件事有沒有獨立的人看得到?出事時,暫停鍵在誰家機房、聽誰的法律?實驗室若一邊讓 自主智能體 做內部研發,一邊只在產品端談 AI 對齊,報告認為那是看錯層。對齊產品輸出,管不住一條已經開始自我加速的研發流水線。
作者把不確定性留在正文裡,把急迫性留給決策者。生產力增益「還沒到門檻」和「較新系統很可能正在靠近」被寫在同一句。要驗證他們有沒有看走眼,不必等 超級智能 的記者會。接下來能對的,是那些已被公開過的內部占比會不會再從 26% 往上跳、人類數月級的研發專案有沒有真的被全自動跑完、獨立審計員有沒有被寫進有罰則的文本,而不是另一份自願論壇的新聞稿。窗口那句話他們已經寫死了:爆炸一旦開始,再討論要不要嵌審計員,可能已經來不及。
