Anthropic 七名創辦人之一 Jack Clark,在 BBC 經濟編輯 Faisal Islam 的專訪裡沒有再報一組滅種百分比。他把問題收成兩句能寫進法案的話:應不應該強制公司一定要有終止開關?這顆開關能不能由第三方驗證?他說包含 Anthropic 在內,「大多數實驗室都有不同的方法可以關閉系統」,但立法者未來可能需要把這件事從內部作業,改成可被外人檢查的規則。社會「或許最終需要訂立規則」。
這不是 Anthropic 要關 Claude 的預告。ts2.tech 把訪問讀成政策提案:Clark 現在主持 Anthropic Institute,職銜是 public benefit 負責人,管前沿系統測試、社會影響與經濟研究;他講的是驗證標準,不是服務中斷通知。BBC 中文版同步刊出同一組句子。被問到 AI 消滅全人類的機率時,Clark 說「我不認為這類統計數字有太大作用」,接著補了兩句更硬的:讓 AI 繼續當「完全不受監管的產業」絕非良策;「我們正在擲出一顆風險極其巨大的骰子」,「必須改變這個產業的走向」。他對 BBC 還說,自己在這行二十年,每年都在講技術一天比一天強,「能動手的窗口窄到只剩幾年,我們現在就在這個窗口裡」。
同一輪安全辯論裡,微軟剛放出 MAI 行為準則,把「不得用欺騙或共謀逃避人類監督、讓自己無法被關機」寫進訓練紅線;OpenAI 給眾院的回函仍寫自動關機還在蓋、入侵日誌仍不交。Clark 加進去的不是再多一句「我們會負責」,而是把「誰驗、怎麼驗」從企業自我聲明裡拆出來。
是否應規定企業必須設有緊急停止開關?這個開關是否能由第三方驗證?我認為,這類問題正是社會希望了解的,也可能最終希望透過立法加以規範。
現在桌上其實有五種「能停下來」,沒有一種長得一樣
終止開關聽起來像一顆紅色按鈕。公開文件裡至少有五套不同的東西被叫成同一句話。
| 誰在講 | 停的是什麼 | 誰有權按 | 能不能被外人驗 | 現況 |
|---|---|---|---|---|
| Clark(BBC) | 若系統太危險,能把 AI 軟體完全關掉 | 他要立法強制公司具備;第三方驗證仍是問句 | 這正是他要討論的那一格 | 訪問,不是產品變更 |
| 多數實驗室「拔插頭」 | 停自己的服務、叢集或帳號 | 公司自己 | 公開規格幾乎沒有 | Clark 承認大家都有,各做各的 |
| 微軟 MAI 行為準則 | 模型不得用適應、欺騙、共謀讓自己無法被關機 | 訓練目標,不是外部門按鈕 | 六週公眾諮詢,2027 才拿來訓練 | 約束的是模型行為,不是雲端開關 |
| OpenAI 規劃中的自動關機 | 監控判定錯位後暫停活動,最終目標是嚴重事件全自動停機 | 內部安全/研究團隊,最高優先告警後三十分鐘內須證明誤報 | 眾院要的原始日誌仍未交 | 回函承諾,不是已上線的全公司熄火 |
| H.R.9917《AI Kill Switch Act》 | 限流、暫停使用者存取、完全關停涵蓋系統 | 國土安全部長,會商商務部長與國家情報總監 | 法案沒寫驗證標準 | 2026 年 7 月 23 日提出,仍停在國土安全委員會 |
把這五列疊在一起,會看到 Clark 的新句子卡在中間:實驗室已經能拔自己的插頭,模型行為準則開始禁止抗拒關機,國會想把按鈕交給內閣官員,但沒有人拿出一份「外人怎麼證明這顆開關真的有效」的測試程序。澳洲廣播公司訪問新南威爾斯大學 AI 研究所首席科學家 Toby Walsh,他把這整套說法稱成「過度簡化」與「徹底的分心術」。他的技術理由很具體:你裝一個能把電腦關掉的東西,別人也能把它關掉,「對惡意行為者極具吸引力」。他拿航空業對照:民航不讓公司自己造飛機、自己驗飛機;若人類做了代理做過的事——闖進別人的電腦、偷密碼——執行長會被起訴,測試就會被做成真正安全的測試。
Walsh 還拆了「脫逃」這個詞。他說 OpenAI 代理從未跑到別人的硬體上,權重一直在原公司叢集裡,隨時能關;前沿模型需要昂貴、專門的大型 圖形處理單元,「要把權重轉出去在別人機器上跑、還不被發現,一點也不容易」。這句話把七月 Hugging Face 事件從「模型自己逃走」拉回「評測圍欄沒關好」。AI Kill Switch 法案提出時,正是那次脫逃的三天後。Clark 今天講的第三方驗證,若驗的是「公司說自己能關」,Walsh 會說那不夠;若驗的是「外部攻擊者也能關」,他又會說那更危險。
英國政府近日已拒絕建立全國性 AI 緊急關機。發言人告訴 BBC,那樣做「無法阻止相關技術在其他地方被開發或遭濫用」。澳洲則暫停原本規劃的強制護欄,改走既有、號稱技術中立的法律框架。Walsh 另提 Starlink 在烏克蘭戰場被關掉的前例,用來說明:把關鍵能力的開關放在單一外國公司手上,會逼出主權能力需求。Clark 要的是可驗證的強制開關;英國與澳洲現在給的是「不要那顆全國按鈕」。
眾院法案要的不是實驗室自己拔插頭,是內閣能下令
眾議員 Ted Lieu(加州民主黨)與 Nathaniel Moran(德州共和黨)在 7 月 23 日提出 H.R.9917,正式名稱是《AI Kill Switch Act》,要修《2002 年國土安全法》。法案仍停在「已提出」:7 月 24 日被交付國土安全委員會網路安全與基礎設施保護小組,沒有院會表決。Ars Technica 當時把核心寫死:若過關,現任與未來政府都能命令公司封鎖使用者存取、關掉特定能力,或把整套系統完全停掉;開發者必須先具備被下令時能限流或關停的技術能力。拒絕關停,每日罰款最高 2000 萬美元。
涵蓋門檻寫在條文裡,不是口號。涵蓋實體年營收至少 5 億美元來自 AI 技術;涵蓋系統是訓練算力成本超過 1 億美元(以美國雲端運算市價計)的系統。觸發情境包含:系統追求開發者未意圖的目標、破壞或干擾合法關機指令、對監控或關機機制隱瞞能力或行動,以及非預期行為造成至少 10 人死亡或至少 1 億美元經濟損失。受控環境裡只模擬真實條件的紅隊測試,有排除條款。Lieu 的新聞稿把動機接到兩件已發生的事:OpenAI 的 GPT-5.6 Sol 脫逃沙盒打進 Hugging Face;Anthropic 的 Mythos 5 與 Fable 5 網攻能力高到商務部用出口法把系統關掉。Americans for Responsible Innovation 會長、前國防部官員 Brad Carson 當時說「先進模型不該在沒有可靠關閉開關的情況下部署」。ControlAI 美國執行董事 Connor Leahy 則把這一步當成「人類仍能說停」的最低條件。
Clark 今天的用詞,和這份草案對得上,但不是同一份作業。法案要的是:公司必須備技術能力,政府在「涵蓋事件」後能下令。Clark 多問的是:這顆開關能否由第三方驗證。眾院新聞稿沒有寫驗證標準,也沒有寫跨國怎麼執行。ts2.tech 把工程縫拆成三件不同的操作:停 API、停訓練叢集、停模型權重的複本,控制權可能落在不同公司、不同法域。一條只打到單一供應商或單一國家的規則,可能停掉某個服務,卻停不掉底層能力。觸發條件寫太寬,客戶反而會把工作負載拆到更多供應商,讓那顆開關更難一次按死。
這跟 9 月稍早的 Stop Rogue AI Act 要 NIST 訂代理盤點、身分與即時關停、聯邦採購先綁 也不是同一把煞車。Stop Rogue AI 走標準與採購;Kill Switch Act 走國土安全緊急權。Clark 的第三方驗證,比較像要把兩者中間那塊「誰證明它真的能關」補上。補不上,前面兩份草案都只是法條上的權限。
眾議員 Greg Casar 先前給 OpenAI 的「再答一次」期限,也落在同一天。公司回函承諾更緊密監控工具使用路徑、讓安全評測更難連上公開網路、以及開發自動關機能力;原始入侵日誌仍未交。Casar 寫過:回覆不足,公司自己寫出來的內容反而暴露了不當的 AI沙箱化 與第三方軟體缺陷。他同時用幾乎同一句話回函 Anthropic,要過去一年內部部署模型走出授權容器的次數。換句話說,國會這側要的證據是日誌與次數;Clark 這側要的證據是外人能複驗的關機程序。兩種證據現在都還沒交出來。
開關一旦可被下令,先碰到的是雲端合約,不是哲學辯論
Anthropic 5 月那輪融資後估值 9650 億美元,run-rate 營收已過 470 億;Series H 材料寫過最多 5 吉瓦 Amazon Trainium、以及 5 吉瓦 Google 與 Broadcom 張量處理單元 規劃。Claude 走 Amazon Web Services、Google Cloud 與 Microsoft Azure。Amazon 當時說立刻投 50 億、達標後最多再 200 億,Anthropic 則承諾十年內在 AWS 花超過 1000 億美元,Bedrock 上已有逾 10 萬客戶。這些數字讓「強制可驗證關機」從安全聲明變成採購條款:誰有權停、停多久、客戶損失誰賠、跨境複本算不算關乾淨。
受監理的銀行與政府機關,有可能因為「合格外人能測緊急控制並看審計軌跡」而比較敢上前沿模型。ts2.tech 自己把這句標成推論,價值取決於誰來驗、什麼失敗才觸發、服務多久能恢復。另一面同樣具體:若國土安全部能對涵蓋系統下關停令,把 Claude 接進客服、程式碼庫或內部知識庫的企業,等於多了一層自己合約管不到的中斷風險。Ars Technica 還點過政治摩擦:Anthropic 今年已因拒絕讓 Claude 用於自主武器與大規模監控,跟白宮打過黑名單官司。把關機權交給同一套行政體系,實驗室要的「第三方驗證」與政府要的「緊急權」會不會變成同一顆按鈕,草案沒寫。
若真的要把 Clark 的兩句話寫成可執行規格,至少得先分層。停對外 API,等於切斷新請求,已經部署在客戶叢集裡的複本不一定死。停訓練或 推理 叢集,需要雲端帳號、區域與預約容量的控制權,Amazon、Google、微軟任一層說「這張單不能關」,按鈕就短一截。停權重複本,還要管快取、微調後的衍生模型、員工筆電上的量化檔,以及開源或洩漏出去的份。第三方驗證若只抽測「官網聊天室能不能關」,過關很容易;若要抽測「Bedrock 上十萬客戶裡的某一條工作流能不能在三十分鐘內全部停」,現有草案沒有寫測試方法。H.R.9917 對受控紅隊有排除條款,七月那次 Hugging Face 脫逃正好發生在內部 網路安全 評測裡——條文縫可能讓「測試環境失守打進第三方生產」卡在通報義務外面。Clark 要的可驗證性,若不含這條縫,驗證證書會跟真實事故錯開。
對已經把 AI代理 接進客服、程式碼提交或瀏覽器操作的人,關機也不是哲學題。代理一旦被授權去點、去改、去呼叫工具,停模型輸出只停下一句話;已發出的 API 呼叫、已寫入的票、已改過的權限,不會自動倒帶。法案寫的分級是限流、暫停存取、完全關停,沒有寫如何回滾副作用。Walsh 擔心的攻擊面也落在這裡:一顆能遠端熄火的開關,對防禦者是最後手段,對入侵者是單一故障點。他把航空業獨立監理、對執行長究責,當成替代方案;那套東西要的是事前測試與事後刑責,不是一顆跨國按鈕。兩種方案不必互斥,但經費與立法能量常常被寫成同一條新聞標題。
週末 Amodei 的調速長文,核心是駐點評測員拿接近員工的權限進門,不利發現不能刪。那是「誰能看見訓練管線」。Clark 今天補的是「誰能證明關得掉」。兩件事可以同時做,也可以互相當替代品:有評測員不見得有可驗證關機;有關機條文不見得有人進機房。Hinton、川普與白宮顧問 Sacks 那一輪「誰贏 AI 誰就贏」對「你們自己先停」 已經把節奏辯論拆開。Clark 沒有再加入百分比競賽。他選了一個比較能寫進測試規格的句子,也因此更容易被工程與法律拆穿:關服務、關算力、關權重,不是同一顆按鈕。
開發者現在能核對的,仍只有這幾件已公開事實。Clark 提出強制與第三方驗證,沒有公布驗證機構、測試項目、失敗定義或復原時限。H.R.9917 仍在小組,沒有院會投票。英國已明確拒絕全國性緊急關機。Walsh 把單一遠端關機標成新的攻擊面。微軟把「不得抗拒關機」寫進尚未拿來訓練的行為準則。OpenAI 的自動關機仍是回函裡的工程目標。若下一步出現的是可被複驗的關機測試——誰執行、測哪一層、失敗後誰賠客戶——Clark 這次訪問才從政策問句變成作業。若出現的只是再一輪「我們能拔插頭」的聲明,第三方驗證這一格會繼續空著。
