自動擴展

自動擴展（Auto Scaling）是根據負載自動調整計算資源的機制，確保AI服務在流量波動時保持性能和成本效益。

觸發條件：

• 指標：
• CPU/GPU使用率
• 請求隊列長度
• 響應延遲
• 自定義指標

• 時間：
• 定時擴展
• 預測性擴展

策略：

• 水平擴展：
• 增減實例數
• 無狀態服務

• 垂直擴展：
• 增減實例規格
• 有狀態服務

• 混合：兩者結合

縮放模式：

• 主動：預測負載提前擴展
• 被動：響應負載變化
• 計劃：定時擴展

雲服務：

• AWS：
• EC2 Auto Scaling
• ECS/EKS自動擴展

• Azure：
• Virtual Machine Scale Sets
• AKS自動擴展

• GCP：
• Managed Instance Groups
• GKE自動擴展

AI特定：

• 推理服務：
• GPU實例擴展
• 批次處理優化

• 訓練：
• Spot實例使用
• 訓練恢復

最佳實踐：

• 預熱：新實例準備時間
• 冷卻：避免震盪
• 最小/最大：邊界控制
• 健康檢查：確保可用性

自動擴展是雲原生AI服務的關鍵能力。