2初級訓練與優化
混合精度訓練
Mixed Precision Training
以 FP16/BF16 為主、FP32 為輔的 神經網絡 (類神經網路) 訓練方式，搭配 loss scaling 以兼顧速度與數值穩定；與 混合精度 同義。
詳細解釋
混合精度訓練在前向與多數梯度計算使用半精度（FP16 或 BF16），權重更新或易溢位處保留 FP32，並以 loss scaling 避免梯度下溢。可顯著降低 圖形處理單元 (GPU / 圖形處理器) 記憶體與提升吞吐，PyTorch (Torch Compile) AMP、TensorFlow mixed_float16 為常見實作。與 混合精度、圖形處理單元 (GPU / 圖形處理器)、PyTorch (Torch Compile)、梯度檢查點 (Gradient Checkpointing) 相關。