返回趨勢情報
趨勢情報

Maia 300 開規格:288GB HBM4、18 TB/s、機櫃 96 卡 167 千瓦;官方稱每兆瓦多 40% token,對上哪張 GPU 沒寫

2026年10月14日
易賺Ai團隊
14 分鐘閱讀
#NVIDIA#Microsoft#Azure#GPU#推論#Maia
Maia 300 開規格:288GB HBM4、18 TB/s、機櫃 96 卡 167 千瓦;官方稱每兆瓦多 40% token,對上哪張 GPU 沒寫

Scott Guthrie 寫進官方部落格的句子很短:Maia 300 預期比「領先的 GPU 系統」每兆瓦多吐 40% 的 token。他沒寫那是哪一張卡、哪個批次、哪個模型、decode 佔多少。

這顆晶片是 Microsoft 第三代自研 AI 加速器,也是一張只為自家雲工作負載長出來的 特殊應用積體電路,接在今年 1 月量產的 Maia 200 後面。Guthrie 的職銜是雲與 AI 執行副總裁。官方定位寫死了兩件事:從 2027 年起把 Azure Maia 家族擴到多吉瓦部署;並讓 Maia 成為 Microsoft 產品與服務的主要推理系統。Computerworld 把這篇聲明放在週二的快訊,The Verge 的讀法是:更多工作負載搬進自己的矽,對 NVIDIA 與 AMD 的依賴會下降。Microsoft 沒有在公告裡點名要少買誰。

能核對的規格,來自同一天的 Azure 架構長文與後續硬體媒體的拆表,不是那句 40%。

單卡先看記憶體,機櫃再看千瓦

Notebookcheck 把單卡數字排成一張表。Azure 部落格補了機櫃與超節點。兩邊對得上的列如下。

項目Maia 300Maia 200(對照)
架構多 chiplet上一代 SoC
主運算製程TSMC N2P(2 奈米)TSMC 3 奈米(Reuters 對 200 的既有報導)
FP413.8 PFLOPS未在這次公告重列
FP86.9 PFLOPS未在這次公告重列
SoC TDP950 瓦750 瓦
記憶體288GB HBM4,八堆 × 36GB216GB HBM3e,頻寬 7 TB/s
記憶體頻寬18.0 TB/s約 7 TB/s
每針腳速率9 Gb/s未在這次對照
單卡相對上一代頻寬 2.5 倍、容量 +33%、每瓦 HBM 頻寬約 2 倍—
橫向互連雙向 3.2 TB/s橫向頻寬 +14%(官方相對 200)
機櫃96 加速器、167 千瓦加速器密度的一半
機櫃 HBM27.6TB,合計 1.7 PB/s—
托盤24 個四卡托盤,主機與加速器同托盤另設主機托盤
超節點最多 12,288 加速器(官方);硬體媒體約寫 12,000較小
量產部署2027已在生產,含 Microsoft Copilot

950 瓦比 200 多 200 瓦,不是一張更省電的卡。官方要賣的是「每瓦吐出的 token」,不是名牌上的 TDP。八堆 HBM4 把單卡從記憶體牆往後推一截:長上下文窗口、decode 偏重、多步智能體工作流都會把 KV 快取堆進 HBM。Azure 架構文把這代改動寫成三句:記憶體從均勻存取改成跨 chiplet 的 NUMA,讓軟體把資料放在用它的運算旁邊;新的窄精度格式加重硬體轉型,減少每個 token 要搬的位元組;機櫃加速器數加倍,scale-up 域長成 12,288 卡的超節點。

相對 Maia 200,官方給了另一組「對自己」的倍數:運算 FLOPs +36%、HBM 頻寬 2.5 倍、橫向頻寬 +14%、滿櫃 token 吞吐最高 7 倍、每瓦效能逾 2.5 倍。7 倍這句有條件——必須是滿配 96 卡機櫃,對上的是上一代機櫃,不是某張 NVIDIA 的現貨。Cloud Computing News 把這層寫明白:兩個倍數都是跟自己的上一代比。

40% 那句是唯一拿去對「領先 GPU 系統」的行銷數字。Notebookcheck 與多家轉述同一句保留:Microsoft 沒有提供足夠的對照組態,無法獨立核對優勢有多大。Reuters 8 月的產能傳聞是另一個層級:當時報導公司在跟 TSMC 談 2027 年逾 30 萬顆,長期目標逾 100 萬顆,也在勸 Anthropic 這類大雲客戶採用;元件供應與產能談判可能卡住。Guthrie 這次的公告沒有重申 100 萬這個數字。

系統要解決的,是搬資料,不是再堆 FLOPS

Azure 架構負責人 Rani Borkar 與 Saurabh Dighe 的長文,把 Maia 200 引入的 SDLA(Software Defined Locally Accessed Dataflow Architecture)當成這代的骨架:控制路徑編程與資料路徑執行分開,由軟體明確調度資料放哪、怎麼搬、何時同步。Maia 300 在這層上做了五件較能核對的工程。

第一,主運算放進 TSMC N2P,記憶體控制器與 I/O 拆到別的 die。Notebookcheck 引 Reuters:部分配套矽用較便宜的 3 奈米。官方的說法是,讓每種功能走最適合它的製程,把更多面積留給運算。

第二,強化 MXFP4,並引入低於 3-bit 的儲存格式。這是量化路線,不是新的訓練精度。目的是讓同一功率包絡裡塞更大的模型、更長的上下文、更多並發會話。FP4 的 13.8 PFLOPS 要跟這條一起讀:名牌算力用窄精度堆出來,真正能服務的 token,還取決於 KV 狀態能不能留在 288GB 裡。

第三,向量引擎的指令集針對 softmax、低精度轉型等推論核心改過。這是 decode 路徑上的小刀,不是訓練卡的賣點。

第四,NUMA 加上軟體管理的晶粒上 SRAM 當 scratchpad,減輕 HBM 壓力。官方把「少搬資料」寫成這代相對傳統 GPU 架構的主因。獨立評測還沒出現,這句目前只能當設計意圖。

第五,網路被寫成資料流的延伸,而不是外掛的 scale-out 網卡。機櫃內是半交換拓撲:托盤內兩卡直連,96 卡經交換器組成一個 pod,全走電氣連線。第二層用光,最多 128 個機櫃組成超節點。加速器可以不經主機、直接對超節點裡任一顆對等卡發通訊。延遲分三層:直連最低,pod 內一跳,跨 pod 三跳。單卡對任一對等卡最高可到 750GB/s——前提是只有一部分卡在走跨機櫃。頻寬在機櫃內與跨機櫃之間的切分,不在出廠時鎖死,而是依作業打包調整。

這套 fabric 讓官方能寫兩件部署上的事。Prefill 與 decode 工作者可以分開尺寸、分開放置,KV 狀態算完後走同一張 scale-up 網送到 decode 卡,不必出域再經主機。某托盤掛了,調度器可以用另一個機櫃裡的熱備,工作仍留在 scale-up 域。對張量並行來說,官方建議延遲敏感的流量留在最低延遲域;更寬的專家並行與流水線並行再跨機櫃。

機櫃本身是 24 個四卡托盤,每個托盤帶自己的主機處理器、記憶體、儲存與冷卻,不再另設主機托盤。六顆高基數交換 ASIC 收進三個液冷交換托盤。電力是雙路饋電、50V 匯流排、機櫃級自動切換開關。液冷帶走超過 80% 的熱(加速器、電壓調節器、交換 ASIC),空氣冷卻留給記憶體、儲存與輔助件;可以接廠務水,也可以用熱交換器丟回風冷機房。167 千瓦、96 卡,是這代密度的代價,也是「每兆瓦」分母裡真正的數字。

現在能跑的是 200,300 還在簡報上

Maia 200 已經在生產。Guthrie 寫,它在服務 Microsoft Copilot,也在撐 MAI 團隊做下一代模型;GitHub Copilot 與 Microsoft Foundry 預計年底跟上。工作負載含 OpenAI 的模型、Microsoft 自研 MAI,以及領先的開源模型家族。部署地點寫了美國、歐洲、澳洲。對 Teams、Copilot 與 Cowork 內建能力,官方稱最高比領先 GPU 基礎設施多 1.7 倍每瓦 token——這句同樣沒列對照卡。300 的設計輸入,官方說就是 200 在這些服務上跑出來的經驗。

時間表要把兩代拆開。200 是現在;300 的生產部署寫的是 2027。Ignite 2026 下個月在舊金山,官方預告會再講策略與採用,不是把交貨日提前。Computerworld 引 Guthrie:年後才開始部署 300。對已經在買 Copilot 座位的人,短期能碰到的硬體還是 200。對要做 2027 年雲端採購模型的人,300 才進入比較表——而且比較表上,40% 那一格暫時無法填獨立數字。

自研推論矽這條線,OpenAI 也剛走過一截。站內寫過 Jalapeño 首批 InferenceX:每瓦吞吐最高 1.9 倍,以及更早的 OpenAI 與 Broadcom 的 Jalapeño。Notebookcheck 把 Maia 300 的發布放在 Jalapeño 亮相後不久。兩邊目前都沒有公開、可複現、對同一模型同一批次的第三方效能帳。Microsoft 7 月財報通話裡就把 MAI 自研模型與 Maia 晶片拿出來跟 OpenAI/Anthropic 對打,見:Nadella 財報通話。這次 300 的公告,是把那條路線從「我們有自己的卡」推進到「2027 年起這張卡要變成主力推論系統」。

Nadella 本週稍早另有一場談到緊急煞車必須做在模型外面,見:前沿模型當內部威脅。那篇處理的是控制面。這篇處理的是安培與記憶體頻寬。兩件事會在同一個機房碰面:代理任務越長、上下文越長,KV 越吃 HBM;同時,官方把 300 的目標工作負載寫成「長上下文推理、低延遲對話、持續多步代理」。Guthrie 點名的產品是 GitHub 的編碼體驗、Foundry 的多架構部署、MAI 的推論與資料生成、Dragon Copilot 的臨床文書。這些都是 decode 時間長、資料局部性差就會燒錢的負載。

還沒寫進規格表的,是價錢、對外出租時程、以及 Copilot 以外的客戶能不能直接要到 Maia 機櫃。大型語言模型 若只經 Foundry 被排程到這些卡上,開發者看到的仍是 API 延遲與 token 帳單,不是 950 瓦名牌。官方也沒有公布 300 的總開發與部署成本,也沒有一份對 NVIDIA 或 AMD 基礎設施的完整營運成本對照。少這些,40% 與 7 倍就停在「設計目標」與「對上一代滿櫃」兩層,進不了採購模型的第三欄。

機櫃算術能先做,不必等 40% 被核對。167 千瓦滿櫃、96 張 950 瓦的卡,單卡名牌加總是 91.2 千瓦,其餘是交換、主機、電源轉換與冷卻。官方把液冷寫成帶走八成熱,是因為這個包絡已經接近一般機房單櫃的上限。27.6TB 的機櫃 HBM 除以 96,就是單卡那 288GB;1.7 PB/s 除以 96,接近單卡 18 TB/s。這些列是自洽的。不自洽的是「每兆瓦多 40% token」:分母若用 167 千瓦,分子卻沒有公開的模型、批次與 decode 佔比,第三方沒辦法重跑。

100 萬顆若要在 2027 發生,分母是 TSMC 先進封裝與 HBM4 供應,不是部落格的語氣。8 月 Reuters 寫的是先談逾 30 萬顆、長期逾 100 萬,並點名 Anthropic 當潛在大客戶;這次 Guthrie 的公告沒有重申這兩個產能數字。公司可以同時「談逾 100 萬」又「一個對照 GPU 組態都不給」。自研 特殊應用積體電路 這條路,要等到機櫃接上廠務水,才能從簡報變成可採購的容量。

對要做 2027 年容量規劃的人,現在能寫進表格的是:單卡 288GB/18 TB/s/950 瓦、機櫃 96 卡/167 千瓦、超節點 12,288、量產年 2027、對 GPU 的 40% 尚未可複現。剩下的,等 Ignite,或者等第一台機櫃真正接上水。