上下文緩存

上下文緩存（Context Caching）是大型語言模型 (大語言模型 / 大模型)推理優化技術，緩存先前計算的上下文（如系統提示、文檔內容），避免重複計算，加速多輪對話和長上下文處理。

問題背景：

• 長上下文成本高：Prompt長度增加，計算量平方增長
• 重複計算：多輪對話中系統提示和前文重複計算
• KV Cache：雖然緩存了KV，但Prefix仍需重新計算

工作原理：

• 識別：識別不變的上下文部分（系統提示、固定文檔）
• 緩存：首次計算後緩存該部分的KV Cache
• 重用：後續請求直接使用緩存的KV
• 增量：只計算新的用戶輸入

應用場景：

• 多輪對話：系統提示和對話歷史緩存
• 文檔問答：長文檔的KV預計算和緩存
• 代碼助手：項目上下文長期緩存
• API服務：相同系統提示的請求批量優化

實現方式：

• 持久化KV Cache：將KV保存到記憶體或存儲
• 哈希索引：按內容哈希快速查找緩存
• 分層緩存：
• L1：GPU記憶體（最快）
• L2：CPU記憶體
• L3：SSD存儲

優勢：

• 延遲降低：首token時間顯著減少
• 成本節省：減少重複計算開銷
• 用戶體驗：對話更流暢
• 擴展性：支持更長的有效上下文

挑戰：

• 記憶體管理：緩存的生命週期管理
• 一致性：模型更新後緩存失效
• 安全性：緩存數據的隱私保護
• 驅逐策略：緩存滿時的替換算法
• 分佈式：多節點間的緩存同步

相關技術：

• KV快取：基礎的鍵值緩存
• 上下文緩存：KV Cache的進一步優化
• 前置緩存：vLLM的Prefix緩存
• 連續批次 (Continuous Batching)：動態批次優化

商業實現：

• Google Gemini API：上下文緩存功能
• OpenAI：部分優化（未公開詳情）
• 開源：vLLM等框架的部分支持

上下文緩存是提升長上下文LLM服務效率的關鍵優化。