企業正在把預算從「多買一個 聊天機器人 席位」改成「部署會自己搜網、寫程式、調 API 的 AI 代理」——但韓國科學技術院(KAIST)電機學院柳民秀(Minsoo Rhu)團隊公布的研究,給這股熱潮潑了一盆帶數字的冷水:在真實服務條件下,代理處理單一問題的平均耗電,最高可達傳統一問一答式 生成式 AI 的 136.5 倍。 韓國時報等媒體在 7 月 5 日前後廣泛報導這項「全球首次」量化分析;結果亦發表於 2 月的 IEEE HPCA(高效能計算機架構)國際會議。當日内瓦的聯合國 AI 治理對話同時呼籲企業公開碳足跡時,KAIST 的數字把抽象環保口號,變成代理採購清單上必須出現的一欄。
代理為何比「問一句」貴這麼多
傳統 大型語言模型 聊天:使用者提問 → 模型生成一次回答 → 結束。能耗主要來自單次前向推理的 token 計算。
AI 代理則不同:給定目標(例如規劃旅行、整理預算、完成多步研究)後,系統會自主規劃、反覆呼叫搜尋引擎、執行程式、等待外部服務回應,並在多輪內部推理中「自己跟自己對話」,直到判定任務完成。KAIST 團隊指出兩個放大因子:
- 循環推理:完成複雜任務時,核心模型權重被反覆載入與執行,答案生成時間可達簡單問答的 153.7 倍。
- I/O 等待浪費:代理等待網站、資料庫或第三方 API 回應時,昂貴的 GPU 有 超過一半時間處於空轉,仍消耗電力。
在 700 億參數級 LLM 代理的實測中,單一複雜請求平均消耗 348.41 瓦時(Wh)——相當於讓 1 瓦設備連續運行約 348 小時的電量,或接近一盞 60W 燈泡亮近 6 小時。對比之下,傳統問答模式處理單題的能耗落在低一個數量級的區間,代理最高可達其 136.5 倍。
這不是理論沙盤,而是團隊在真實服務條件下對運算資源與電力的同步量測——對正在評估 Codex、Claude Code、企業自動化流程的 CTO 而言,「每個用戶問題的成本」公式需要重寫。
137 億次請求/天的思想實驗
研究團隊進一步外推:若未來全球每日 AI 代理請求達 137 億次(數量級參考當前大型消費級 AI 服務的互動規模),僅資料中心電力需求就可能逼近 198.9 吉瓦(GW)——約為美國全國平均用電量的一半,遠超各國目前規劃中的 AI 資料中心裝機節奏。
柳民秀在接受採訪時警告:若產業只競賽模型智慧程度,而忽略資料中心與電網效率,電網可能無法承受。解決方案不能只靠「買更多 GPU」,而需從模型架構、晶片設計、排程與電力基礎設施整體重設計——包括減少代理循環中的冗餘推理、優化等待外部工具時的硬體休眠策略,以及把能耗納入代理編排器的優化目標(類似雲端 FinOps 的下一層)。
| 指標 | 傳統問答式生成 AI | AI 代理(KAIST 實測量級) |
|---|---|---|
| 任務模式 | 單輪問答 | 多步規劃 + 工具呼叫 + 循環推理 |
| 單次能耗倍率 | 基準 1× | 最高約 136.5× |
| 生成時間倍率 | 基準 1× | 最高約 153.7× |
| GPU 利用痛點 | 推理密集 | 等待外部 I/O 時 >50% 空轉 |
| 外推:日 137 億請求 | — | 資料中心電力 ~198.9 GW |
與產業敘事的三重碰撞
代理安全與代理能耗同一週上桌。 7 月 4 日 Sysdig 披露的 JadePuffer 證明代理可端到端完成攻擊鏈;KAIST 則證明代理在合法場景也會端到端燒電。資安與永續過去很少在同一張簡報裡出現,2026 年 7 月它們同時變成董事會議題。
聯合國環境透明倡議需要硬數字。 秘書長古特雷斯在日内瓦開幕的 全球 AI 治理對話 上,重申要求主要 AI 公司公開碳、水、土地足跡。KAIST 研究提供的是代理細分場景的能耗係數——若企業只披露「訓練一次旗艦模型」的碳排,卻不披露「代理化產品」的邊際能耗,透明倡議會留下巨大盲區。
雲端與晶片商的隱含賭注。 Microsoft Frontier Company、Meta 出售多餘算力等七月動向,預設「代理工作負載會指數成長」。若 136 倍能耗係數在主流工作流中成立,客戶的總擁有成本(TCO)裡,電費與冷卻可能很快超過 token 授權費——雲端報價模式可能從「按 token」演進為「按 token + 按代理步數 + 按等待時間」。
企業現在可以怎麼做
- 在 PoC 階段就量測瓦時/任務,而不只量測延遲與準確率;把 KAIST 的「單題 348 Wh」當作代理工作流的數量級參考,而非極端案例。
- 區分「人類在環」與「長時間自主代理」的能耗預算——後者應有單獨的電力與碳排上限,並與 網路安全 分段政策對齊。
- 關注硬體與排程創新:研究社群已開始討論代理場景下的動態電壓頻率調整、異步工具呼叫批處理;採購代理平台時,問供應商是否暴露每步能耗遙測,而不只暴露 API 延遲。
- 把代理任務設計成可終止:無限循環的「直到成功」代理,在能耗與安全上是同一類風險。
柳民秀的結論很直白:永續的 AI 未來不能只靠「更聰明的軟體」,必須讓資料中心與電網跟上代理的工作方式——否則,代理普及的速度會快過電網升級的速度,而治理對話裡的環境承諾會先於商業現實破功。
一句話:KAIST 用 136.5 倍告訴市場——代理時代的競賽不只比誰的模型會規劃,還比誰能在每瓦電裡完成更多有用步驟;在 代理式推理 成為預設介面之前,電費帳單可能先成為第一道現實圍牆。
