詳細解釋
TOPS(Tera Operations Per Second,每秒兆次運算)是衡量AI晶片運算性能的關鍵指標,特別是針對神經網絡 (類神經網路)推理任務的整數運算能力(通常指INT8精度)。
為何使用TOPS:
- AI推理主要使用低精度整數運算(INT8/INT4),而非浮點
- 與傳統FLOPS(浮點運算)相比,TOPS更能反映實際AI工作負載
- 便於比較不同神經處理單元、張量處理單元 (TPU / 張量處理器)、圖形處理單元 (GPU / 圖形處理器)的AI推理效能
計算方式:
TOPS = (時脈頻率 × 運算單元數量 × 每週期運算次數) / 10^12
常見晶片對比(約略值):
- Apple M4:38 TOPS(NPU)
- NVIDIA Jetson Orin:275 TOPS
- 高通 Snapdragon 8 Gen 3:45 TOPS
- Intel Core Ultra:34 TOPS(NPU)
注意事項: