TOPS

TOPS

每秒兆次運算

詳細解釋

TOPS(Tera Operations Per Second,每秒兆次運算)是衡量AI晶片運算性能的關鍵指標,特別是針對神經網絡 (類神經網路)推理任務的整數運算能力(通常指INT8精度)。

為何使用TOPS:

計算方式:

TOPS = (時脈頻率 × 運算單元數量 × 每週期運算次數) / 10^12

常見晶片對比(約略值):

  • Apple M4:38 TOPS(NPU)
  • NVIDIA Jetson Orin:275 TOPS
  • 高通 Snapdragon 8 Gen 3:45 TOPS
  • Intel Core Ultra:34 TOPS(NPU)

注意事項:

  • TOPS是理論峰值,實際性能受記憶體頻寬、模型架構影響
  • 不同精度的TOPS需分開比較(INT8 vs INT4 vs FP16)
  • 利用率吞吐量 才是實際部署的關鍵指標
  • 邊緣設備的能效比(TOPS/Watt)往往比純TOPS更重要

探索更多AI詞彙

查看所有分類,繼續學習AI知識