2初級技術工具
GPU 叢集 (GPU Cluster)
GPU Cluster
多張 圖形處理單元 (GPU / 圖形處理器) 組成的運算叢集，用於 分散式訓練 與大規模 大型語言模型 (大語言模型 / 大模型) 訓練與推理。
詳細解釋
GPU 叢集指多台節點、每節點多張 圖形處理單元 (GPU / 圖形處理器)，透過高速網路（如 InfiniBand (高速叢集網路)）與 Kubernetes 等編排，進行 分散式訓練（資料並行 (Data Parallel)、模型並行、管線並行）或大規模 推理 (模型推理) (Inference Optimization) (Variational Inference)。為訓練 大型語言模型 (大語言模型 / 大模型)、大模型與 機器學習 (ML) 實驗的常見基礎設施。與 分散式訓練、資料並行 (Data Parallel)、圖形處理單元 (GPU / 圖形處理器)、Kubernetes 相關。