詳細解釋
2023 年開源的 LLM 路由和代理庫，讓開發者用統一接口調用 100+ 個模型（OpenAI、Anthropic、Azure、Vertex、本地模型等），簡化多模型管理。
核心功能：
- 統一接口：OpenAI 格式的 API，背後可路由到任意模型
- 模型路由：根據成本、延遲、負載自動選擇最適合的模型
- 故障轉移：主要模型失效時自動切換備份
- 負載均衡：在模型實例間分配請求
- 請求重試：自動處理 rate limit 和超時
使用場景：
- 多模型策略：簡單查詢用 GPT-3.5，複雜用 GPT-4，創意用 Claude
- 供應商冗餘：OpenAI 降級時切換 Azure 或 Anthropic
- 成本優化：自動選擇最便宜的滿足質量要求的模型
- A/B 測試：比較不同模型在生產環境的表現
企業功能：
- 虛擬密鑰：統一管理多供應商的 API key
- 使用追踪：按項目、團隊統計成本和 token 使用
- 緩存：響應緩存降低重複查詢成本
- 合規：PII 檢測、內容審核集成
商業模式：
- LiteLLM Open Source：Apache 2.0，核心功能免費
- LiteLLM Enterprise：$250/月起，高級功能（SSO、審計、支持）
- LiteLLM Proxy：託管服務
生態位置：處於應用和基礎模型之間的中間件層，與 LangChain（應用框架）和模型提供商都不同。
這反映了 AI 基礎設施的成熟—— 多模型、多供應商成為常態，需要專門的「AI 負載均衡器」。