GPU 短缺 (GPU Shortage)

GPU Shortage (GPU shortage)

AI 訓練與推理需求導致 GPU 供不應求、價格高漲的現象

詳細解釋

GPU 短缺(GPU Shortage)指 大型語言模型 (大語言模型 / 大模型) 訓練與推理需求激增下,圖形處理單元 (GPU / 圖形處理器)(尤指 NVIDIA 高階晶片)供不應求、交期延長與價格高漲的現象,影響學界、新創與中小企業取得算力。

算力富豪 (Compute-rich) 對比:少數業者囤積或長期合約鎖定產能,加劇短缺。替代方案包括雲端租用、量化 (模型量化) (Quantization Aware Training) 與小模型、開放權重 社群模型以降低單次訓練需求。

探索更多AI詞彙

查看所有分類,繼續學習AI知識