1入門技術工具
負載均衡
Load Balancing
將請求或流量分散到多台伺服器或 推理 (模型推理) (Inference Optimization) (Variational Inference) 實例，以提升可用性與吞吐，常見於 Kubernetes 與 機器學習運維 服務。
詳細解釋
負載均衡（load balancing）將進入的請求依策略（輪詢、最少連線、一致性雜湊等）分派到多個後端，避免單點過載並提高可用性。在 機器學習運維 中，Kubernetes Service、Ingress 或 Istio (服務網格) 常負責將 推理 (模型推理) (Inference Optimization) (Variational Inference) 流量分到多個模型副本。與 Kubernetes、Istio (服務網格)、推理 (模型推理) (Inference Optimization) (Variational Inference)、機器學習運維 相關。