詳細解釋
GPU（Graphics Processing Unit）是圖形處理單元，由於高度並行架構，成為深度學習訓練和推理的主要計算設備，遠快於CPU處理矩陣運算。
架構特點：
- 大量核心：
- 數千個簡單核心
- 適合並行計算
- 相比CPU（少數強大核心）
- 高帶寬內存：
- HBM、GDDR6
- 高吞吐數據移動
- 專用單元：
- Tensor Core（矩陣乘法）
- RT Core（光線追蹤）
- AI加速器
深度學習應用：
- 訓練：大規模模型必需
- 推理：加速生產推理
- 並行：批次處理多樣本
- 框架：PyTorch、TensorFlow GPU加速
NVIDIA主導：
- CUDA生態：深度學習標準
- cuDNN：深度學習原語
- TensorRT：推理優化
- 數據中心：A100、H100
其他選擇：
- AMD：ROCm平台追趕
- Intel：Arc GPU、Ponte Vecchio
- 雲TPU：Google專用AI芯片
選擇考量：
- 顯存：模型大小決定需求
- 算力：TFLOPS指標
- 成本：購買vs租賃
- 擴展：多GPU、分布式
GPU是深度學習的標準計算平台。