詳細解釋
思維鏈(Chain of Thought, CoT)是提示大型語言模型 (大語言模型 / 大模型)展示逐步推理過程的技術,通過生成中間推理步驟,顯著提升模型的數學、邏輯和常識推理能力。
核心思想:
- 直接回答:模型可能跳步導致錯誤
- 分步推理:顯式生成思考過程
- 自我修正:中間步驟可檢查和糾正
提示方式:
- Zero-shot CoT:「讓我們一步步思考」
- Few-shot CoT:提供帶推理過程的示例
- 自動CoT:自動生成示例
示例:
問題:15個蘋果,吃掉7個,又買了9個,現在有幾個?
標準回答:17個
CoT回答:
「開始有15個,吃掉7個:15-7=8個。
又買了9個:8+9=17個。
所以現在有17個。」
效果:
- 數學推理:GSM8K基準大幅提升
- 邏輯推理:符號操作更清晰
- 常識推理:多步推斷更準確
- 複雜問題:分解為子問題
變體:
- Zero-shot-CoT:無需示例,直接加提示語
- Self-Consistency:多條推理路徑投票
- Tree of Thoughts:探索多條推理樹
- ReAct:推理+行動交替
與微調的關係:
- 提示工程:無需訓練,直接使用
- 微調:在CoT數據上訓練(如Flan-T5)
- 結合:微調後的模型CoT效果更好
應用場景:
- 數學問題:小學到高中數學
- 邏輯謎題:推理遊戲、謎語
- 代碼調試:逐步分析錯誤
- 決策支持:多因素權衡
- 教育輔導:展示解題過程
為何有效:
- 分解:複雜問題拆分到可管理步驟
- 計算:中間結果作為「工作記憶」
- 檢查:可追蹤推理過程
- 規模效應:大模型CoT收益更大
CoT是釋放LLM推理能力的關鍵提示技術。
亦稱「Few Shot Cot」。