詳細解釋
Retrieval-Augmented Generation 的改進版本,模型在生成過程中主動決定何時檢索、檢索什麼、如何使用檢索結果,而非固定檢索-生成流程。
傳統 RAG 的局限:
- 固定檢索:先檢索固定數量文檔,再生成
- 無關信息:檢索到的文檔可能無用或干擾
- 無反饋:不評估檢索質量
Self-RAG 機制:
- 反射 token:模型輸出特殊標記決定是否需檢索
- 按需檢索:僅在不確定或需事實時檢索
- 相關性判斷:評估檢索到的文檔是否有用
- 批判生成:對生成的內容自我評估
- 迭代:可多次檢索-生成循環
工作流程:
- 生成過程中遇到不確定信息
- 輸出 [檢索] 標記
- 系統執行檢索
- 模型評估檢索結果 [相關][無關]
- 若相關,用於增強生成;若無關,繼續生成或再次檢索
- 最終輸出 [支持][反對] 等標記表明信心
優勢:
- 效率:減少不必要的檢索(省成本、加快速度)
- 質量:減少無關信息干擾
- 可解釋:知道何時依賴檢索、何時靠內部知識
實現:
- 微調 LLM 學習反射 token
- 或提示工程引導模型輸出結構化決策
這是「自適應 RAG」的代表—— 讓模型決定自己的信息需求,而非固定流程。