NVLink

NVLink是NVIDIA開發的高速GPU互連技術，提供遠超PCIe的帶寬，實現多GPU間的高效通信，是大型AI模型訓練的關鍵基礎設施。

與PCIe的對比：

• PCIe 4.0 x16：32GB/s雙向
• NVLink 4.0：900GB/s（單向），遠超PCIe
• 一致性：可選支持統一記憶體空間
• 效率：專為GPU間通信優化

技術特點：

• 專用互連：不同於通用的PCIe
• 高帶寬：多條高速串行鏈路
• 低延遲：專為GPU間通信設計
• 多拓撲：支持多種連接拓撲
• 記憶體共享：GPU可訪問彼此記憶體

代際演進：

• NVLink 1.0：P100，160GB/s
• NVLink 2.0：V100，300GB/s
• NVLink 3.0：A100，600GB/s
• NVLink 4.0：H100，900GB/s

系統架構：

• DGX系統：NVLink連接8個GPU
• NVSwitch：專用交換芯片連接16+ GPU
• 超大集群：多DGX通過NVLink網絡連接
• 全對全連接：任何GPU可直接通信

在AI訓練中的作用：

• 模型並行：層分布在多GPU，需頻繁通信
• 張量並行：張量分片需要大量all-reduce
• 梯度同步：數據並行的梯度聚合
• 激活交換：流水線並行的激活傳遞
• 帶寬瓶頸：大模型訓練受NVLink帶寬限制

與NVSwitch的關係：

• NVLink：點對點連接
• NVSwitch：交換芯片，實現全互聯
• DGX A100：6個NVSwitch連接8 GPU
• 擴展性：NVSwitch支持更大規模

替代方案：

• AMD Infinity Fabric：AMD GPU互連
• CXL：新興的開放標準
• 光互連：未來方向

NVLink是NVIDIA GPU生態的競爭優勢之一。