張量處理單元 (TPU / 張量處理器)

TPU（Tensor Processing Unit）是Google開發的專用AI加速器，專為TensorFlow和機器學習工作負載優化，提供高吞吐量和能效比。

設計特點：

• 矩陣單元：
• 專為矩陣乘法和卷積優化
• 脈動陣列架構
• 高吞吐低延遲

• 大容量片上內存：
• 減少外部內存訪問
• 提高能效

• 低精度優化：
• BF16為原生格式
• 支持INT8推理

版本：

• TPU v1：僅推理
• TPU v2/v3：訓練和推理
• TPU v4/v4p：最新，更高性能
• TPU Pod：多TPU集群

使用方式：

• Google Cloud：
• Cloud TPU VM
• TPU Pod

• 專有：
• 不對外銷售硬件
• 僅雲服務

與GPU對比：

• TPU：
• 專用於ML
• 更高能效
• 與TensorFlow整合好
• 僅雲端可用

• GPU：
• 更通用
• 生態更豐富
• 可本地部署

適用場景：

• 大模型訓練：Google內部、研究
• TensorFlow工作負載：優化最好
• 大規模分布式：Pod擴展
• 成本敏感：長期訓練能效優勢

限制：

• 鎖定：TensorFlow/XLA生態
• 靈活性：不如GPU通用
• 可用性：僅Google Cloud

TPU是Google ML基礎設施的核心組件。