詳細解釋
內存運算(In-Memory Computing),又稱存算一體(Processing-in-Memory, PIM),是一種打破傳統馮紐曼架構中記憶體與處理器分離架構的計算範式。它直接在記憶體陣列中執行運算,消除數據搬運瓶頸。
傳統架構的問題:
- 馮紐曼瓶頸:數據在CPU和記憶體間頻繁搬運
- 記憶 (Memory Optimization) (Memory Wall):記憶體頻寬遠低於處理器運算能力
- 記憶體受限:許多AI工作負載受限於記憶體而非計算
內存運算實現方式:
- 模拟計算:利用記憶體陣列(如ReRAM、MRAM)的物理特性進行矩陣乘法
- 數位PIM:在DRAM或SRAM陣列旁邊集成簡單ALU
- 3D堆疊:邏輯晶片與記憶體晶片垂直互連(如HBM-PIM)
AI應用優勢:
- 神經網絡 (類神經網路)的主要運算是矩陣乘法,非常適合PIM
- 能效提升10-100倍,減少數據搬運能耗
- 適合邊緣AI和行動端 AI的功耗限制
- Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的注意力機制 (注意力)可大幅加速
商業產品:
- Samsung HBM-PIM:集成AI引擎的高頻寬記憶體
- UPMEM PIM-DRAM:可程式DRAM處理器
- Mythic AI:模擬計算陣列(已停業,技術被收購)