Kubernetes

Kubernetes（K8s）是開源的容器編排平台，自動化部署、擴展和管理容器化應用，是生產環境AI服務的標準基礎設施。

核心概念：

• Pod：最小的部署單元，可包含多個容器
• Deployment：聲明式管理Pod副本
• Service：為Pod提供網絡訪問和負載均衡
• ConfigMap/Secret：配置和敏感信息管理
• Volume：持久化存儲
• Namespace：資源隔離的虛擬集群

主要功能：

• 自動擴展（HPA (水平 Pod 自動擴展)）：基於負載自動增減Pod數量
• 滾動更新：零停機部署新版本
• 服務發現：自動負載均衡和DNS
• 存儲編排：動態掛載各類存儲
• 自愈：故障Pod自動重啟或替換

在AI中的應用：

• 模型服務：部署大型語言模型 (大語言模型 / 大模型)推理服務
• 分散式訓練：多節點訓練任務編排
• 批處理：訓練數據處理管道
• 機器學習運維：模型版本管理和A/B測試
• 資源調度：GPU集群的高效利用

GPU支持：

• NVIDIA Device Plugin：暴露GPU給容器
• GPU調度：將Pod調度到有可用GPU的節點
• MIG（多實例GPU）：A100/H100的細粒度分配
• 時間切片：多任務共享GPU時間

相關生態：

• Helm (Kubernetes 套件管理)：Kubernetes包管理器
• Istio (服務網格)：服務網格，流量管理
• Argo CD (GitOps 持續交付)：GitOps持續交付
• Kubeflow (K8s 上的 ML 工作流)：ML工作流平台
• Prometheus (監控系統)+Grafana (監控與可觀測性)：監控可視化

雲服務整合：

• EKS（AWS）、GKE（Google）、AKS（Azure）
• 託管控制平面：減少運維負擔
• 自動節點擴展：按需添加/移除工作節點
• 混合雲：跨雲和本地數據中心的統一管理

學習曲線：

• 概念複雜：大量抽象和術語
• 生態豐富：眾多工具和解決方案
• 但價值巨大：生產環境的標準選擇

Kubernetes是生產級AI系統的編排標準。