計算受限

計算受限（Compute-bound）指系統性能主要受限於處理器的運算能力，而非記憶體頻寬或其他因素。當任務處於計算受限狀態時，增加計算資源（更多或更快的CPU (中央處理器)/圖形處理單元 (GPU / 圖形處理器)）能直接提升性能。

計算受限 vs 記憶體受限：

• 計算受限：大量算術運算，數據可緩存在L1/L2
• 大型矩陣乘法（特定尺寸）
• 複雜的數學函數計算
• 密碼學運算
• 記憶體受限：數據量大，計算簡單，頻繁訪問主記憶體
• 稀疏矩陣運算
• 嵌入層查找（嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup)）
• 注意力機制 (注意力)的某些部分

AI工作負載分析：

• 卷積：通常是計算受限，可通過更多FLOPS加速
• Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的FFN層：計算密集，擴展性較好
• Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的Attention層：常是記憶體受限，需記憶 (Memory Optimization) (Memory Wall)

優化策略：

• 使用更高FLOPS的硬體（更多GPU、TPU）
• 優化算法降低計算複雜度（如快速矩陣乘法）
• 混合精度計算（FP16、BF16）在不損失準確度下提升吞吐量
• 編譯器優化：算子融合、循環展開

識別方法：使用效能剖析器監控GPU利用率，接近100%表示計算受限