詳細解釋
分布式訓練（Distributed Training）是將模型訓練分佈到多個計算節點的技術，處理大模型和大數據集，加速訓練過程。
並行策略：
- 數據並行：
- 每個GPU處理不同數據批次
- 梯度聚合（All-Reduce）
- 最常用
- 模型並行：
- 模型分佈到多GPU
- 層分割
- 超大模型必需
- 流水線並行：
- 層級並行
- 微批次流水線
- 張量並行：
- 矩陣分割
- 計算和通信交錯
框架支持：
- PyTorch：
- DDP（DistributedDataParallel）
- FSDP（Fully Sharded Data Parallel）
- TensorFlow：
- tf.distribute.Strategy
- MultiWorkerMirroredStrategy
- 專用庫：
- DeepSpeed（微軟）
- Megatron-LM（NVIDIA）
- Horovod（Uber）
挑戰：
- 通信開銷：節點間數據傳輸
- 同步：等待最慢節點
- 調試：多節點問題定位難
- 成本：多GPU/TPU費用
優化：
- 梯度累積：模擬大批次
- 檢查點：故障恢復
- 混合精度：減少通信量
- 梯度壓縮：量化梯度
分布式訓練是訓練大規模模型的必需技術。