高頻寬記憶體

高頻寬記憶體（High Bandwidth Memory, HBM）是專為高性能計算設計的3D堆疊記憶體技術，通過寬總線和堆疊封裝提供極高的記憶體帶寬，是現代AI加速器的關鍵組件。

與傳統GDDR的對比：

• GDDR5/GDDR6：用於遊戲顯卡，高頻率，較窄總線
• HBM：寬總線（1024-bit vs 32/64-bit），較低頻率，極高帶寬
• 功耗：HBM每bit功耗更低
• 面積：HBM堆疊節省PCB面積

技術特點：

• 3D堆疊：多個記憶體die垂直堆疊
• TSV（Through-Silicon Via）：矽穿孔連接各層
• 寬總線：1024-bit接口（8個128-bit通道）
• 高容量：每個堆疊8-24GB
• 高帶寬：HBM3超過800GB/s

代際演進：

• HBM1：2015年，128GB/s每堆疊
• HBM2：2016年，307GB/s，8GB容量
• HBM2E：2019年，460GB/s，16GB
• HBM3：2022年，819GB/s，24GB
• HBM3E：2023年，超過1TB/s

在AI中的應用：

• 訓練：存儲模型權重和激活
• 推理：KV快取存儲
• 瓶頸：記憶體帶寬常成為計算瓶頸
• 帶寬需求：Transformer架構 (變換器 / 注意力模型) (Switch Transformer)需要極高記憶體帶寬

與計算的關係：

• 計算強度：運算次數/記憶體訪問
• 屋頂線模型：帶寬限制峰值性能
• Flash Attention：減少HBM訪問
• 記憶體牆：計算增長快於記憶體帶寬

供應商：

• SK海力士：HBM市場領導者
• 三星：主要供應商
• 美光：HBM2E和HBM3

成本：

• 昂貴：比GDDR貴數倍
• 供應緊張：AI需求導致短缺
• 產能擴張：供應商增加HBM產能

HBM是高端AI芯片的記憶體技術標準。