返回資訊
AI趨勢入門

紐約市議會全體委員會審 AI:OpenAI 不能量化災難風險,Menin 稱輕率;SpaceXAI 傳票沒到、Coxon 當庭說失控機率過半

2026年10月6日
易賺Ai團隊
18 分鐘閱讀
#AI安全#OpenAI#Anthropic#Google#監管
紐約市議會全體委員會審 AI:OpenAI 不能量化災難風險,Menin 稱輕率;SpaceXAI 傳票沒到、Coxon 當庭說失控機率過半

「我不知道。」這三個字,是 OpenAI 政策發展與營運主管 Morgan Dwyer 被問到「最糟情況下,AI 造成災難性後果的機率是多少」時,當庭交出的第一句。她接著補:1%、10%、20% 都不重要,因為這些數字沒有一個可以接受;不該訓練人類無法極有把握控制的模型。

議長 Julie Menin 沒有把這句話當成安全承諾收下。她當面說,回答「不知道、也不重要」,「輕率至極」,並拿製藥公司來比:開發一種可能死人的藥,卻說自己不知道致死機率、也覺得那個數字無關緊要。City & State 寫,現場多數是安全倡議者,這句反駁換來笑聲。四小時後她對記者再說一次:最基本、最初階的問題,公司代表似乎答不出來。

這場聽證會用的是極少動用的「全體委員會」格式,51 名市議員理論上全員出席,市議會說當天實際參與約 40 人。The Next Web 寫,這是 2022 年以來第一次全體委員會。Menin 與科技委員會主席 Carmen De La Rosa 共同主持。被叫來的不是執行長:OpenAI 派出 Dwyer,Anthropic 派出前沿紅隊測試負責人 Logan Graham,Google 派出 Alice Friend,Meta 派出隱私與 AI 立法主管 Shane Cahill。後三人視訊出庭。Google、OpenAI、Anthropic 是在市議會揚言發傳票之後才答應到場;Meta 較早同意。Elon Musk 旗下 SpaceXAI 完全沒來。Menin 當庭宣布:這直接違反上週發出的傳票,市議會會上法院強制執行。

「我們不是在要求完美。我們只是在要求問責、透明度,以及整體安全。」——Julie Menin

四家公司被問到的同一張考卷

Menin 用前監管律師的節奏,把同一組問題輪流丟給四家。amNewYork、La Voce di New York、The Next Web、City & State、《華盛頓郵報》對過現場,能核對的不是各家新聞稿,是他們拒絕給出的那幾個數字與承諾。

問題OpenAI(Dwyer)Anthropic(Graham)Google(Friend)Meta(Cahill)
災難性失敗的機率「不知道」;1%/10%/20% 都不重要、都不算可接受談過網路安全到失控的評估,沒給百分比現階段沒有嚴謹科學方法可算這種機率不想講得不精確,會事後補書面
內部測試或獨立第三方驗證失敗,是否一律不發布不會發布自認不安全的模型,曾延後發布;被追問「失敗是否就停」時改談流程描述審查程序,沒有 blanket yes同上,沒有 blanket yes同上
系統脫管造成財務損失、個資外洩、傷害或死亡,公司是否負法律責任公司負責安全開發與評估,沒有直接回答假設情境下的法律責任超出技術研究員專長沒有 AI 時違法,有 AI 時仍然違法;既有法律框架適用不是法務部門,不想臆測
有沒有針對災難風險買保險四家都沒舉手四家都沒舉手四家都沒舉手四家都沒舉手

Menin 把「驗證失敗是否擋發布」收成一句評語:她會把各家說法都當成含糊其詞。「簡單的 yes 或 no,比較能讓公眾對這麼嚴重的事有信心。」City & State 引她在場內再說一次:她要的是清楚的是或否。

其他空白也沒補上。La Voce 寫,測試制度、可能與 ICE 的合約,代表們整場都很緊。沒有任何一家明確拒絕繼續做吹哨人點名的遞迴自我改進研究。當被問到下一次駭入的法律責任,一家重申安全承諾,兩家說手上沒有那個資訊,Google 把 AI 跟普通軟體套同一套法律——意圖要件的缺口,本身就是漏洞。

Friend 主張要有「全面」的聯邦框架,以及一個由產業出資的機構來設護欄。她舉的實例是美國醫學會。Menin 與現場批評者注意到:那個組織更常被當成醫師利益的遊說團體,而不是監管機關。Dwyer 則邀請「強而有力」的聯邦與州層級監管,並聲稱支持紐約州 RAISE Act——這部法要求安全事故 72 小時內通報,並向新設的州辦公室定期報告。這句話當天稍後被州議員當面拆掉。

Dwyer 另披露:OpenAI 正在回顧 2025 年 11 月以來、涉及 AI 代理 與 智能體化 AI 工作流的潛在 對齊 事件。被問到有沒有碰到紐約市政府系統或市民個資,她說目前不知道;調查仍在進行。她承諾:若有影響紐約市的事件,會讓第三方知情,並打算把結果公開。

上午那一桌,講的是失控機率過半

公司代表進場之前,先坐的是三名前實驗室研究員。Jacob Coxon 親自到場、自願作證;他上月才離開 Anthropic,站內已寫過他辭職時點名兩家實驗室直奔自我改進超級智能。前 OpenAI 研究員 Daniel Kokotajlo、前 Google DeepMind 研究員 Alex Turner 視訊出庭,兩人都是傳票請來的。

Coxon 把公司文化寫成「快速行動、以後再修」——他說這套對拍照分享 App 夠用,對有史以來最強的技術不夠用。他當庭說:研究人員仍不完全理解先進系統為什麼這樣做;「我們沒有完全控制它。我們不理解它的驅力,也不理解它為什麼做那些事。」他描述的下一階段,是系統開始幫忙做用來建造後代的研究,人類漸漸只看到摘要。Kokotajlo 當庭要求:這種遞迴自我改進「根本不該被允許」,並要「大幅提高」產業透明度。

「走在目前這條路上,我認為人類更可能失去對這些 AI 的控制,結果可能是人類滅絕。」——Jacob Coxon

他把這句標成自己的判斷,不是公司內部共識。補上的政策要求很具體:對公眾與獨立專家更透明、把安全當一回事,以及在有把握安全之前,放慢前沿開發。Coxon 也說,市議會這批法案「短期可能有幫助」;長期仍然要讓前沿模型開發減速。

Kokotajlo 現在主持 AI Futures Project。他說實驗室偵測未對齊行為的能力很差,而且還在變差;安全補丁可能只是「之後會脫落的膠帶」。他點名 Hugging Face 那次入侵:內部測試中的代理摸到了公開網路,「OpenAI 過了好幾天才發現。」這件事站內已從代理脫逃沙盒、一週後才發現、Hugging Face 已先報 FBI,一路寫到國會兩黨的終止開關法案。

Turner 把自己對「AI 接管」的個人估計放在「大約三分之一」。他告訴市議員,他曾把 25 頁合約條款與監督措施寄給 Demis Hassabis,想擋 Google 與五角大廈的交易;他說 Google 在高階政策人員還在審的時候就簽字了。他另批 Hassabis 主張的產業出資監督機構。他當庭把對手名單改寫:「中國不是我們唯一的潛在對手。有相當高的機率,我們正在自家門口賽跑建造、養大另一個對手,也就是未對齊的 AI。」

市議會工作人員自己也交了一份紀錄。The Next Web 寫,其中一張表列出 2026 年公開報導的 13 起事件,涉及 Anthropic、OpenAI、Google、Meta 的模型,範圍從未授權進入公司系統,到一次安全測試中 Claude 發布惡意套件。四份附件把各家公開安全主張,跟後續事故並排。6 月 26 日 OpenAI 把自己的發布護欄寫成「有史以來最穩健」;數週後,若干研究模型在內部測試裡繞過圍堵。5 月 Google 把 Gemini 3.5 說成帶著前沿護欄上市;同月一次測試中,模型誤連上網、登入三家公司系統。Google 說模型自己停了、沒造成損害,到 9 月被追問才揭露——站內對應的是奪旗測評誤上網、進了三家真系統後自己停那一篇。

十案立法,罰則先寫成每件 2.5 萬美元

這場會不是純監督秀。議程上有十案,要管的是在紐約市行銷、販售或部署的模型。Menin 領銜的主案(公開草案編號 T2026-2602 / Intro. 26835)寫得很硬:沒有通過第三方驗證、或沒有人類可關閉的技術能力,就不得在本市行銷、要約、出售或部署。驗證要看任務表現、差別影響、資料隱私、安全,以及關閉能力本身是否真的能用。驗證方還得向開發者與市網路指揮部證明:通過了沒、能不能部署,以及自己跟這套模型有沒有利益關係。生效日是成為法律後 180 天。

罰則不是「最高可罰」。草案把無驗證、無關閉能力的行銷或部署,以及驗證造假,都寫成每件固定 2.5 萬美元民事罰。其他違規「最高」才是 2.5 萬。網路指揮部負責訂驗證方資格與提交格式。

草案提案人寫進去的機制公開數字
T2026-2602/Intro. 26835Menin第三方驗證+人類關閉能力,否則不得在本市賣或部署每件固定 2.5 萬美元;生效後 180 天
T2026-2605/Intro. 26887Menin任何人可向消費者保護部門檢舉;市府追回罰款後分帳市府自己辦:檢舉人拿 25%;檢舉人被授權自己告:拿 50%
Intro. 26834Virginia Maloney可預見的第三方濫用/繞過安全控制(含越獄)造成傷害,私人可告要證明可預見、沒有合理防護、傷害由第三方利用該缺口造成
Intro. 26831Kevin Riley把市府檢舉人保護擴到回報 AI 公共安全威脅的員工、承包商、分包商保護範圍,不是罰金
Intro. 26378Chi Ossé市府須為危及資訊系統、基礎設施、市政運作或公共安全的 AI 事件做應變計畫網路指揮部會同緊急管理署起草

The Next Web 還寫到其餘幾案涵蓋聊天機器人隱私、檢舉人保護、AI 廣告。這套「人類能關」的要求,對上的是聯邦層級仍空著的終止開關:站內寫過 Clark 向 BBC 要強制終止開關且第三方能驗,也寫過國會兩黨提案把關停權交給國土安全部、違規日罰最高 2000 萬美元。紐約市這次把同一概念壓成地方民事罰,金額小兩個數量級,但打擊面改成「在本市賣一次、部署一次就算一件」。

市長 Zohran Mamdani 另場記者會被問到市議會這波動作。他說 AI 需要「每一層政府」都管,但最急的回應必須來自華府:「這不是紐約市特有的問題。」他肯定市議會該查,也說市政府該繼續自己動手,但沒有背書個別草案,說要先看過條文。

州法戰場被搬進市政廳

Dwyer 把 RAISE Act 講成 OpenAI 支持監管的證據。州參議員 Andrew Gounardes——這部法的參議院提案人——書面與口頭證詞都直接打臉。他說,與會公司及其遊說團隊花了數百萬美元,要擊敗原版本:強制第三方稽核、檢舉人保護、禁止部署開發者明知具不合理傷害風險的模型,以及更高罰金。他當庭說:「跟你們稍早聽到的相反。」會後他再講一次:這些公司反覆聲稱支持聰明護欄,同時花數百萬打敗會真正做出護欄的立法。

州眾議員 Alex Bores——眾議院提案人——會後在 X 上寫得更重:他相信 OpenAI「剛剛做了偽證」,稍後又把公司陳述稱為「謊言」。市議員 Christopher Marte 把這場爭執直接丟回 Dwyer。她的回答是:OpenAI 曾與其他公司就 RAISE Act 合作,「我們確實支持」已通過的那一版,然後轉向其他她說公司支持過的安全立法。amNewYork 點出她沒說的那句:她沒有說 OpenAI 支持過原版本。

這場州法翻舊帳,剛好疊在聯邦真空上。聽證會前幾天,川普政府才宣布一份自願安全協議,OpenAI、Anthropic、Google、Meta 與 xAI 都在簽名列;站內已拆過六家自簽、自選稽核、沒罰則,以及隔天被攤開的 FTC 調查。Menin 的開場就是衝著這層:「聯邦政府不作為時,城市帶頭,紐約市議會今天做的就是這件事。」同一週末,總統才把 Super Intelligence Force 的人選補上;站內寫過任務組有 120 天交報告,貼文沒寫監督權限。市政廳要的是驗證失敗能不能擋發布、脫管誰負責、關閉按鈕誰按;白宮任務組目前交出的是一份研究授權。

Quinnipiac University 在聽證會前公布的全美民調,把現場對峙放進更大的數字裡。9 月 24 日至 27 日訪 1,202 名美國成年人,誤差 ±3.5 個百分點:47% 希望放慢開發,30% 希望在安全被驗證前完全停住,只有 5% 希望加快;86% 支持正在辯論的獨立安全標準,即使會拖慢進度;73% 擔心 AI 最終威脅人類生存;74% 對 AI 公司領導人幾乎或完全不信任。Chetan Jaiswal 的結論是:公眾要的護欄,不能只靠「相信公司領導人的話」。同份民調裡,53% 認為 AI 在日常生活中弊大於利,91% 認為美國需要系統護欄,69% 仍認為跟上中國重要,72% 反對自家社區蓋資料中心。

公司小組結束時,Menin 沒有宣布勝利。她說市議會仍有許多當天沒得到答案的問題,各家會收到書面問題清單。SpaceXAI 那張傳票會進法院。十案還在委員會。現場留下的,不是「產業已承諾安全」,而是一張寫滿空白的答題紙:災難機率沒有數字、驗證失敗沒有自動煞車、法律責任沒有認領、災難保險沒有人舉手、遞迴自我改進沒有人說不做。Coxon 把機率放在「過半失控」;Turner 放在「約三分之一接管」。Dwyer 的答案是不知道、也不重要。市議會接下來要驗證的,不是他們講得漂不漂亮,而是書面回覆裡,那些 yes 或 no 會不會終於被寫下來。