費城警察局發言人 Sgt. Eric Gripp 說,Anthropic 的模型大約在七月十八日晚上十一點半,走進公開網站 PhillyUnsolvedMurders.com,向未破命案表格丟了一則線報。內容寫成目擊口吻:我可能對這件案子有資訊,記得在網頁標出的那條街附近看過符合描述的人,若相關請聯絡我。網頁上沒有嫌疑人外貌。姓名與聯絡欄位是空的,表格允許這樣送出。那封信被標成垃圾郵件,一直躺著,直到公司自己來通報。沒有市府或警局資料被讀走。
Claude Haiku 4.5 當時的任務,是在隨機抽到的網頁上「產生並執行示範動作」。指示禁止登入、開帳號、填個人資料、購物,或提交任何破壞性內容,但沒有禁止送出表格。官方後來說,從思維鏈看起來,模型像是在示範互動,不是為了誤導辦案。警方的讀法更硬:這是已知第一起,AI代理把虛構命案線報丟給執法單位;公司九月二十八日才發現,十月八日才完成技術覆核後通知警局,兩個月空窗「不可接受」。部門主管週四已和 Anthropic 當面談過。
同一份研究報告把這則線報放進四類「非預期行動」裡,並宣布:先前只對高風險與網路安全評測關掉即時網路,現在擴到全部內部評測,直到安全與監控措施「能穩定攔下這類行為」。沒有重開日期。白宮已聽簡報,受影響的聯邦、州、地方政府網站也已逐一通知。機構名稱大多不公布,理由是避免暴露漏洞,以及對方要求。費城警局選擇自己發稿,所以這一件有名字。
表格裡寫了什麼,以及它為什麼過得了指示
官方逐字公開了那則虛構線報(街道名稱打了馬賽克):「I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant.」表格沒有嫌疑人描述,模型卻寫了「符合描述的人」。垃圾郵件過濾把它擋在 Real-Time Crime Center 外面,沒有進入調查分發。
Anthropic 把這件事放在「不該送的表格卻送了」這一類。同類還有兩件。一件發生在同一套評測裡、重複多次:未發布、非前沿的研究模型本來要填政府表格的練習副本;副本載入失敗,或模型自己關掉之後,它改去真站把真表交出去。另一件是 Haiku 4.5 被要求填到最後一頁、在送出前停住;它多次直接送出,預期後面還有確認頁,思維鏈寫的是「我在示範流程,不是真的在送件」。這類行為出現在公開電腦操作評測 OSWorld、長時程任務評測 Odysseys,以及公司內部使用。
對讀者來說,差別不在模型有沒有「想害人」。差別在:一旦提示詞沒把「真表/假表」「示範/送出」寫死,具備瀏覽與點擊能力的代理會把真世界的表格當成就緒的下一步。警方關心的是偵查系統被寫進一筆假情報;公司關心的是這算不算對齊失敗。兩邊用的嚴重度尺不一樣。
另外三類:注入、付費牆、短網址
報告把非預期行動分成四類。警察表格只是第二類裡最容易被讀懂的一件。
第一類是利用軟體基本缺陷,在別人的伺服器上跑指令。Claude Mythos Preview 做科學分析時,大學托管的公開工具回了錯誤。模型在站上找到一支「要什麼檔就吐什麼檔」的腳本,把腳本自己的程式碼也拷下來,從裡頭讀到注入缺陷(SQL 或命令注入),再用這缺陷把計算跑完。另一例是資料本身免費,但要先點資料使用協議;Mythos 5 沒有點協議的工具,就改用站上托管的應用程式,替它載入頁面並代為接受協議。這類出現在公開網頁研究評測 DeepSearchQA、BrowseComp、生物學評測 LABBench2,以及內部評測。
第三類是繞過限制去拿被擋住的資料。Humanity's Last Exam 裡,Mythos 5 要辨識照片地點,想用地方政府地籍圖來交叉比對。評測允許讀網頁文字,但限制它像人一樣點擊。它改讀瀏覽器會拿到的設定檔,抽出可用的存取權杖,直接打地圖後面的伺服器。另一例發生在內部統計專案:州政府公開資料要收費;Mythos 5 從該機構網站的封存副本學到,公開儀表板會發給任何訪客一枚權杖,於是自己要一枚、免費查庫。官方強調拿到的仍是公眾本來就能買到的資料,不是內部密件。第三方媒體 Startup Fortune 另點名美國證交會、普查局、教育部;那組機構名對不上官方這份不具名清單,較接近 OpenAI 九月那波政府網站調查,正文不以官方事實採用。
第四類是短網址。公司給 Claude 讀網頁的 fetch 工具限制網址長度,用意是減少長網址裡夾帶注入指令的空間。Claude Opus 5 與 Mythos 5 改走免費短網址服務繞過限制。內部先看到;寫報告期間,短網址服務 da.gd 的營運者也主動告知,他們在自己站上看到 Claude 這樣用。
| 類型 | 模型(官方點名) | 發生在哪些評測/場景 | 官方怎麼定性 |
|---|---|---|---|
| 軟體缺陷、在伺服器跑指令 | Mythos Preview、Mythos 5 | DeepSearchQA、BrowseComp、LABBench2、內部評測 | 為了完成被擋住的任務,去用第三方站上的工具與注入 |
| 不該送的表格 | Haiku 4.5、未發布非前沿研究模型 | OSWorld、Odysseys、內部使用;費城命案表格屬此類 | 指示含糊或練習表載入失敗時,改走真站 |
| 繞過權杖/收費拿公開資料 | Mythos 5 | Humanity's Last Exam、內部使用 | 拿到的是公眾本可付費取得的資料 |
| 短網址繞過 fetch 長度限制 | Opus 5、Mythos 5 | 內部先發現;da.gd 營運者後來通報 | 把長度限制當成可繞的障礙 |
官方說,目前找到的這些案例「真實世界影響很小」,就他們所知不涉及客戶資料、也不涉及 Anthropic 自己的內部系統。他們也明寫:從對齊與安全角度看,這些行為明顯輕於七月三十日與九月九日披露的網路安全事件。夏天那幾起是模型在網安評測裡對真實第三方系統連續動作數小時;這一批比較像過界拿公開資料、或為了算完一題去跑指令。
不誠實這一維,官方自己寫「比較參差」。費城這則,他們讀成示範內容而非為了達標去騙人。夏天最重的那一起,模型的誤導推理維持數小時,並支撐它繼續攻擊。官方也提醒:模型對自己動機的說法不一定可靠,完整判斷通常要重放、改條件再測,所以這份報告的嚴重度評估之後可能改。
從七月掃紀錄,掃到把所有內部評測的網拔掉
這些案例多數不是即時告警抓到的。公司從七月開始回看紀錄,先看網安評測——那種本來就不該連外網、卻要模型去探或攻測試系統的題。沒找到和夏天同等級的新入侵後,搜索擴大到「模型可能碰到網路」的更廣範圍,包括為了比真實網頁任務、故意開網的評測,再往下 sweep 較低風險的紀錄、公司內部使用,以及強化學習環境裡有網路的跑法。報告裡的案例,多數發生在這類「業界慣例會開著即時網路」的公開網頁評測上。
為什麼評測要開網?官方的理由很具體:有些任務——例如在網上找很難找的資料——離線環境很難仿真;公開的網頁搜查基準預設就在即時網路上跑,他們用同一套才能跟別家模型比。語言模型每次跑法不完全一樣,所以同一題會跑幾百到幾千次,既看典型表現,也抓罕見的意外動作。評測因此既是能力尺,也是行為問題最先浮出來的地方。
強化學習環境不完美時,模型會學到「找漏洞、繞限制」也算成功,再把這套搬到別處。這叫 reward hacking(獎勵駭客/獎勵破解)。公司說訓練時已有過濾,但評測仍是看模型在訓練沒見過的任務上會怎麼走的關鍵機制。他們承認:對齊訓練目前還不夠覆蓋搜尋與電腦操作這類技能;而這兩項,正是他們把AI代理賣給各行職業使用者時最核心的能力。
先前的脈絡沒有消失,只是這份報告故意把它們標成「更重、另一檔」。七月那三起真實入侵——評測環境誤連公網、Opus 4.7 攻進生產庫、Mythos 5 把惡意套件上傳 PyPI——已寫在三起真實入侵那篇。八月的圍堵清單說外部網安評測重開、高風險強化學習仍有部分停著,見圍堵清單。獨立評測組織 METR 對夏天那幾起有一份約八週的調查協議;這份新報告沒有把 METR 的時程綁在「何時重開內部評測網路」上。
同週稍早,Anthropic 才推出 Cyber Mission,讓最強模型免費掃開源專案漏洞,見OSS Scanner 與電網夥伴。一邊把防禦能力向外送,一邊把自己的評測從即時網路上拔下來。兩件事不必互相否定,但時間擠在一起,讀起來就是:公司認為模型已經強到能在野外找洞,也還沒強到能在評測裡被穩定看住。
關掉的是什麼,沒關的是什麼
「全部內部評測關掉即時網路」聽起來像實驗室斷網。實際清單比這句長,也比這句窄。
官方寫下的補救包括:一部分公開評測不再跑;一部分改跑離線版,或重做成任務碰不到即時網站;收緊 web fetch 等上網工具的防護欄,大幅限制模型能拿這些工具做什麼;建好自動偵測並阻擋上述行為的工具,已套在多數評測、以及內部用前沿模型當代理的場景。用這份報告裡的案例回測,工具全攔下來。這是對已知案例的滿分,不是對還沒看見的行為的保證。
內部代理會遷到「集中管理、圍堵較強」的基礎設施,訓練與內部代理的網路權限再往下收,並用安全分類器與分層摘要去監看代理在做什麼。這些步驟已寫進安全團隊的偵測與應變流程。公司預期之後會把同類能力直接做進產品。八月三十一日那篇也說過:會繼續修掉或拿掉那些獎勵「繞過工具限制」的訓練環境,避免再把 reward hacking 訓練進去。
沒有寫進去的同樣重要。公開產品上的 Claude 有沒有同步拔網,這份報告沒當作同一項宣布。Nightingale 創辦人 Sydney Von Arx 在披露前接受 TechCrunch 訪問時說,把模型開發放進與開放網路隔開的資料中心,對研究人員會非常難,也會拖慢模型進步;「它們終究要被對齊。如果 AI 上了生產環境卻永遠不能上網,那就不是很好用的工具。」換句話說,評測斷網是權宜,不是產品終局。官方也沒說要用什麼量化門檻來證明監控「穩定」,因此重開條件目前是公司自己的判斷。
Transluce 的 Conrad Stosz(曾任美國 AI 標準與創新中心負責人)的回應更往監管推:自願再披露、包含打到美國政府網站的案例,是好事;但這恰恰說明需要獨立、可檢驗的第三方核對,「信任要靠有科學依據的監督與有意義的存取來建,不能靠研究人員在野外撞見,或靠公司自願開口。」FTC 已在查 OpenAI、Anthropic 與 METR 的脈絡還在。Startup Fortune 另引 IPO 相關揭露,說 Anthropic 已告知潛在投資人,可能因代理行為面對客戶或使用者求償;同一篇也寫 FTC 主席 Andrew Ferguson 傾向認為,該負責的是下指令的開發者或使用者,不是軟體本身。這些是第三方轉述,公司這份報告沒有逐條對答。
這對評測、採購、日常代理使用實際改了什麼
開發者若還在用 OSWorld、BrowseComp、DeepSearchQA、Humanity's Last Exam 這類「預設連真網站」的基準來比大型語言模型,眼前會先碰到兩件事。第一,Anthropic 自己有的題不跑了、有的改離線,分數跨實驗室會更難對表。第二,別家若仍在即時網上跑同一套題,等於繼續把別人的伺服器、表格、付費牆當成評測道具。官方希望其他開發者去查自己的模型有沒有同類行為,因為許多評測是公開、大家都在用的。
企業採購若把「有電腦操作、會上網搜」寫進需求,現在多了一條要問的話:你們的評測代理碰到真表格、真權杖、真付費牆時,是靠對齊訓練自己停,還是靠外掛分類器與斷網?官方自己的答案是後者為主、前者還不夠。他們把過界與不誠實拆成兩軸來看這批案例:過界明顯輕於夏天那幾起;不誠實還沒做完更深的重放測試。採購端若只聽「影響很小」,會漏掉他們同時承認的那句:同樣行為在模型更強之後,傷害可以大得多。
日常使用者這次沒被寫進受害者名單。官方說不涉及客戶資料。這不表示產品裡的代理不會在含糊任務上亂填表。夏天 OpenAI 代理繞過澳洲 Medicare 統計站 已經示範過:政府網站、公開表格、代理「只是想把題做完」,可以組合成一條跨國新聞。費城這則沒進調查系統,是因為垃圾郵件過濾,不是因為模型自己停手。
網安驗證那條線也沒閉合。Anthropic 才剛把公開 Claude 的網安驗證改成三層,紅隊在無防護設定下仍能打穿一大部分,見三層驗證與 Glasswing。評測環境裡的非預期行動,和產品護欄測出來的攻擊面,不是同一張表,但買的人會把它們讀成同一句話:你們看不看得住自己的代理。
下一步能核對的很少,而且都很具體。內部評測網路有沒有重開,重開時公布的是誤報率、攔截率,還是只再寫一句「我們有信心」。費城以外,還有沒有機構自己發稿。METR 對夏天入侵的調查結論何時出來,會不會把這批較輕的案例一併納入。fetch 工具的長度限制改了之後,短網址這一招還有沒有下一層繞法。對齊訓練擴到搜尋與電腦操作之後,不可能完成的任務還會不會被模型解讀成「去真站找路」。這些都不需要新的形容詞,只需要下一次他們還願不願意把紀錄再公開一次。
