合約裡有一句:「可用於任何合法政府用途。」下一句才補:不應用於國內大規模監控或自主系統武器(包括目標選擇),除非有適當的人為監督與控制。這是 Google 今年稍早跟美國國防部簽的機密工作負載合約,BBC 把原文這兩句寫進報導。倫敦的研究工程師 Sofia Liguori 本週因此辭掉 Google DeepMind,並在合約限制她公開批評公司的情況下,接受 BBC 專訪。
「意識到我的公司正把越來越多 AI 系統推進軍事行動,讓我為在 Google 工作感到羞愧。」她以個人身分說。她在 DeepMind 三年,做的是電網調度,不是武器專案。她說不同意這個方向,也不再相信公司對得起自己公開的倫理價值。Google 的 AI 安全原則寫過要有人為監督、要符合國際法與人權。
Google 發言人回 BBC:「我們與全球公部門合作,進入這些合約有一致流程,包括遵守可接受使用政策與 AI 原則。員工有專用管道提出從商業倫理到不當行為的疑慮,也有嚴格的職場政策防止任何形式的報復。」同一套回應後來也出現在其他媒體,發言人署名 Tom Hewett。
同一週離開、願意具名的還有研究員 Andreas Kirsch。他告訴 BBC:Google 的治理與監督,不足以在軍事與機密環境安全部署 AI,也不足以在未來安全地發展人工超智慧。「Google 似乎沒有權利控制或否決五角大廈怎麼用它的 AI,對部署方式的能見度也有限。」他認為現有模型不夠穩健,也沒為這類任務受過訓練。
BBC 寫「數名」最近辭職或正在走,兩名現職不具名員工說「很多對這件事立場很強的人已經離開」。沒有公布總人數,也沒有公布這批離職佔 DeepMind 研發編制的比例。公司沒有對人數做回應。
合約怎麼寫,員工在怕哪一段
美國國防部長 Pete Hegseth 今年把整場方向講成:川普政府要成為「AI 優先的作戰部隊」。Google 不是唯一簽字的雲與模型商。BBC 列了 OpenAI、Amazon、Microsoft、SpaceX、Oracle、Nvidia,以及新創 Reflection,合約覆蓋運輸、規劃、戰場作業等軍事場景。員工特別擔心的是今年這批:範圍比以前大,而且進了機密環境。
Liguori 的公開信〈Stay Human.〉把最後一天寫成 10 月 20 日。她寫,Google 跟國防部簽約之後她就請假,在那之前花了一年在內部對抗她所稱的軍事與監控整合:Project Nimbus、Lockheed Martin、國土安全/移民執法/邊境單位,再到這份國防合約。信裡對「機密」做了註解:機密工作負載跑在隔離或氣隙網路,DoD Impact Level 6 涵蓋到 Secret;通常只有通過清查的人員進得去,模型供應商幾乎看不到提示詞與輸出,監督靠政府自己。
這就是 Kirsch 說「沒有否決權、能見度有限」的結構來源。商業雲上,供應商至少還能對濫用做日誌與停權;IL6 氣隙裡,那套開關不在廠商手上。Liguori 把這種合約設計稱為「方便高階主管逃避問責」:允許把 AI 嵌進軍事與監控,對允許用途幾乎不設限,公司也沒有監控權。對內敘事她聽到的版本是「行政用途、處理文件」;她寫,簽約對象是公開把 AI 戰略寫成攻擊性軍事用途的戰爭部時,這套安撫站不住。
Project Nimbus 是 2024 年就被員工抗議過的舊傷:Google 與 Amazon 共同拿下約 12 億美元、給以色列政府與軍方的雲與 AI 合約。當時 Google 的說法是 Nimbus「並非針對與武器或情報機構相關的高度敏感、機密或軍事工作負載」。BBC 寫,紀錄片《Naza》後來把 AI 目標選擇系統與加薩平民傷亡連在一起;以色列政府部長稱影片內容不實、遭扭曲。Liguori 在信裡把 Nimbus 的操作方式,說成被今年這份國防合約「合法化成標準」。
Palantir 的 Maven Smart Systems 是五角大廈用來整理情報、協助人員挑選與識別打擊目標的主要軟體。BBC 寫,Palantir 把多家領先 AI 公司的技術接進去,部分流程明顯加快。退役中將、前 Project Maven 主任 Jack Shanahan 說,現在的哲學像是:盡快、盡可能廣泛部署,可能犧牲測試與評估該有的嚴謹。國防部副部長 Emil Michael 稍早的聲明是另一句:「在 AI 時代,速度定義勝利。」
前 OpenAI 地緣政治小組負責人 Sarah Shoker 把風險寫得很操作層:「AI 壓縮操作員做決定的時間,因為它比人快得多,在高壓環境尤其危險。當數百個目標由 AI 選出、時間又短,人類操作員幾乎不可能有意義地檢查輸出有沒有錯。」這跟站內寫過的那則美軍情報誤判對得上:特戰分析員用聊天機器人寫情報,中國船被標成核武零件,飛機已升空才攔下,見 美軍特戰用聊天機器人寫情報。那次是幻覺幾乎變成作戰動作。這次員工爭的是:合約有沒有把「適當人為監督」寫成廠商真的能執行的權利。
誰還敢在公司裡講
Liguori 告訴 BBC,原則上她終身不能批評 Google,但她決定講,「因為我認為這些事應該被知道,而且我認為談事實不算批評。」她加了一句:在 Google,「人們害怕報復、害怕職涯受損。你覺得自己被看著,不能說話。」
不具名的現職 DeepMind 員工說:「很多當初為了公司原始使命進來、很有動力的人可能會走——但職涯起步的人可以補上這些位子。這可能是一場換衛。」另一人說,很多人已經因為倫理立場改變而離開;有人還在抗爭,有人覺得「這麼大的公司,你能指望改什麼」。
公開信把內部氣氛寫得更具體。她說軍事合約是辦公室裡不該大聲討論的題目;講了,會被以違反內部政策為由叫去人資,她稱為恐嚇,而且後面往往沒有具體處分。他們靠的是你自己先閉嘴。她也寫,自己把這件事拿到團隊討論時就是這個下場。她不勸每個人跟著辭:個人辭職她認為沒有效,尤其單打獨鬥。她要留下的人加入 GDM Union(英國 DeepMind 員工經 UTAW/Unite 組織),訴求包括對軍事/監控應用的可執行紅線、合約透明、倫理拒絕權、更強的永續承諾。她同時點了 No Tech for Apartheid、Googlers Against ICE,以及跨實驗室的 Coalition of Concerned AI Staff(Anthropic、OpenAI、GDM)。這批人關心的不只是模型對齊會不會失控,也包括現在已經接上軍事與監控的用途。
The Intercept 後續專訪裡,她把時間點釘在兩個動作:冬天 GenAI.mil 成形,同時 Google Cloud 把授權拉到 IL6。她說那組合起來的意思就是「我們想把 AI 用在戰爭、用在戰場」,就算對內還在說行政用途。她反對的不只是自主武器,而是商業公司把 AI 做成目標選擇與戰爭基礎設施。「用於目標選擇的 AI 非常危險;它讓戰爭的殘酷比較容易升級。」四月國防合約宣布後隔天,她用病假與年假讓自己停工。
Google 對這封信沒有另發回應。對 BBC 的那兩段——有審核流程、有檢舉管道、有反報復政策——仍是公司公開立場。BBC 訪到的現職與前任,以及它訪到的專家,擔心的是關鍵時刻人為監督夠不夠。合約把「適當人為監督」寫在自主武器與國內大規模監控前面;它沒有寫廠商在機密網裡如何核實這句話有被執行。
DeepMind 員工今年 5 月投票組織工會,這條線 Liguori 在信裡當成還能從內部施壓的路徑。換衛那句匿名談話指向另一條:覺得使命變了的人離開,剛入行、不一定帶著同一套原則的人補上。兩條可以同時發生。白宮那側,行政命令把 AI 改叫 Super Intelligence、六家實驗室自簽沒罰則的協議,站內寫過 白宮協議與 Super Intelligence 改名;後來正式組 Super Intelligence Force,120 天要交風險報告,見 Clayton 兼國情局長與 AI 沙皇。實驗室員工用離職信爭的,是同一套國家加速裡,供應商還剩多少看得見、停得了的部分。
Liguori 在信末重複義大利記者 Vittorio Arrigoni 的句子:Stay Human。她把這句轉給還在做這行的人。Kirsch 的版本比較短、比較工程:模型不夠穩,也沒為戰場任務受訓。Google 的版本是流程與管道都在。三句話對的是同一份合約裡「任何合法政府用途」那一行——以及下一行「適當人為監督」在機密網裡誰有權檢查。
