2初級技術工具
硬體基礎設施 (Hardware Infrastructure)
Hardware Infrastructure
支撐 AI 訓練與推理的運算與網路設施，含 圖形處理單元 (GPU / 圖形處理器)、GPU 叢集 (GPU Cluster)、InfiniBand (高速叢集網路) 與雲端實例。
詳細解釋
AI 硬體基礎設施泛指支撐 機器學習 (ML) 訓練與 推理 (模型推理) (Inference Optimization) (Variational Inference) 的運算與網路：圖形處理單元 (GPU / 圖形處理器) 與 GPU 叢集 (GPU Cluster)、InfiniBand (高速叢集網路) 等高速互連、Kubernetes 編排、以及 AWS (亞馬遜雲端運算服務)/GCP (Google 雲端平台)/Microsoft Azure (微軟雲端) 的 GPU 實例。分散式訓練 與大規模 大型語言模型 (大語言模型 / 大模型) 依賴此類設施；Roofline 模型 可評估運算與記憶體瓶頸。與 圖形處理單元 (GPU / 圖形處理器)、GPU 叢集 (GPU Cluster)、分散式訓練、Kubernetes 相關。