記憶 (Memory Optimization) (Memory Wall)

記憶（Memory）是LLM系統存儲和檢索信息的組件，彌補LLM上下文窗口有限和無法持久化學習的局限，是構建智能應用的關鍵。

類型：

• 短期記憶（Short-term）：
• 對話歷史：多輪對話的上下文
• 上下文窗口：當前提示中的內容
• 工作記憶：當前任務的臨時信息

• 長期記憶（Long-term）：
• 向量存儲：Embedding後的語義記憶
• 知識圖譜：結構化的實體關係
• 數據庫：結構化記錄
• 文檔存儲：原始文檔檔案

記憶操作：

• 存儲：將信息寫入記憶
• 檢索：基於查詢找回相關信息
• 遺忘：刪除過時或無關信息
• 鞏固：整理和摘要長期記憶

實現技術：

• 向量數據庫：語義檢索記憶
• 摘要：長對話的壓縮摘要
• 實體提取：關鍵信息結構化
• 時間衰減：近期記憶優先

應用場景：

• 個人助手：記住用戶偏好和歷史
• 客服：跨對話的客戶信息
• 學習輔導：學生知識掌握情況
• 代碼助手：項目上下文記憶
• 遊戲NPC：持久的角色記憶

與RAG的關係：

• RAG：靜態外部知識
• 記憶：動態個人化信息
• 結合：知識+記憶的完整系統

框架支持：

• LangChain：多種Memory實現
• ConversationBufferMemory
• VectorStoreRetrieverMemory
• EntityMemory
• LlamaIndex：ChatMemory

設計考量：

• 隱私：敏感信息的存儲和訪問
• 一致性：記憶與LLM輸出的協調
• 重要性：區分關鍵和瑣碎信息
• 容量：記憶大小和檢索效率

記憶是LLM應用個性化和持續性的基礎。

亦稱「Memory Optimization」。

亦稱「Memory Wall」。