3中級訓練與優化
算子融合
Operator Fusion
將多個小算子（如 ReLU、BN、Conv）合併成單一 kernel，減少 圖形處理單元 (GPU / 圖形處理器) 記憶體存取與 kernel 啟動開銷，以加速 推理 (模型推理) (Inference Optimization) (Variational Inference) 與訓練。
詳細解釋
算子融合（operator fusion）把連續或可合併的運算（例如 Conv+BN+ReLU、或多個 element-wise）合成一個 圖形處理單元 (GPU / 圖形處理器) kernel，減少中間張量寫回與讀取、以及 kernel launch 次數。PyTorch (Torch Compile) 的 torch.compile、TensorRT、XLA 等都會做融合以提升 推理 (模型推理) (Inference Optimization) (Variational Inference) 與訓練效能。與 圖形處理單元 (GPU / 圖形處理器)、推理 (模型推理) (Inference Optimization) (Variational Inference)、PyTorch (Torch Compile) 相關。