詳細解釋
反思機制(Reflection Mechanism)是AI Agent生成輸出後自我審查、評估並可能修正的認知過程。
流程:
- 初始生成:產生初步回答/行動
- 自我審查:檢查一致性、準確性、完整性
- 錯誤識別:發現問題或不足
- 修正改進:生成改進版本
- 迭代:重複直到滿意
技術實現:
- 提示工程:「檢查你的答案」
- 獨立驗證器模型:專門評估
- 工具驗證:用外部工具檢查
- 多樣本比較:生成多個選最佳
- CoT:展示推理過程
- 反思:額外審查步驟
- 可結合:推理+反思+修正
應用:
- 數學問題:檢查計算結果
- 程式生成:編譯驗證後修復
- 事實問答:驗證事實準確性
- 創意寫作:評估後改進
局限:
- 自知之明:難識別自己錯誤
- 計算成本:多次前向傳播
- 收斂問題:可能無限迭代
是AI代理進階可靠性的重要設計。