資料並行 (Data Parallel)

跨多機多卡訓練

將單一模型切分到多張 [[gpu]] 或節點上，以單層或層內分割降低單機記憶體需求；常與 [[distributed-training]] 並用。

將模型按層切分到多裝置，以微批次填滿管線、隱藏氣泡，為 [[model-parallel]] 的一種，常用於大 [[llm]]。

[[distributed-training]] 中節點間同步梯度或參數所耗時間與頻寬，為擴展時的主要瓶頸之一。