2初級訓練與優化
卸載 (Offloading)
Offloading
將 圖形處理單元 (GPU / 圖形處理器) 記憶體不足的張量或狀態暫存到 CPU/磁碟，以換取更大模型或 batch，常用於 大型語言模型 (大語言模型 / 大模型) 訓練與 推理 (模型推理) (Inference Optimization) (Variational Inference)。
詳細解釋
Offloading 在訓練或推論時，把部分參數、梯度或激活從 圖形處理單元 (GPU / 圖形處理器) 移到 CPU 記憶體或 SSD，需要時再搬回，以在有限 圖形處理單元 (GPU / 圖形處理器) 記憶體下跑更大模型或 batch。例如 ZeRO-Offload、CPU offload、梯度檢查點 (Gradient Checkpointing) 搭配 offload。會增加傳輸開銷，適合記憶體瓶頸明顯的 大型語言模型 (大語言模型 / 大模型) 場景。與 圖形處理單元 (GPU / 圖形處理器)、大型語言模型 (大語言模型 / 大模型)、推理 (模型推理) (Inference Optimization) (Variational Inference)、分散式訓練 相關。