思維鏈 (CoT / Few Shot CoT)

Chain-of-Thought (CoT / Few Shot CoT)

引導LLM逐步推理的提示技巧

詳細解釋

思維鏈(Chain of Thought, CoT)是提示大型語言模型 (大語言模型 / 大模型)展示逐步推理過程的技術,通過生成中間推理步驟,顯著提升模型的數學、邏輯和常識推理能力。

核心思想:

  • 直接回答:模型可能跳步導致錯誤
  • 分步推理:顯式生成思考過程
  • 自我修正:中間步驟可檢查和糾正

提示方式:

  • Zero-shot CoT:「讓我們一步步思考」
  • Few-shot CoT:提供帶推理過程的示例
  • 自動CoT:自動生成示例

示例:

問題:15個蘋果,吃掉7個,又買了9個,現在有幾個?

標準回答:17個

CoT回答:

「開始有15個,吃掉7個:15-7=8個。

又買了9個:8+9=17個。

所以現在有17個。」

效果:

  • 數學推理:GSM8K基準大幅提升
  • 邏輯推理:符號操作更清晰
  • 常識推理:多步推斷更準確
  • 複雜問題:分解為子問題

變體:

  • Zero-shot-CoT:無需示例,直接加提示語
  • Self-Consistency:多條推理路徑投票
  • Tree of Thoughts:探索多條推理樹
  • ReAct:推理+行動交替

與微調的關係:

  • 提示工程:無需訓練,直接使用
  • 微調:在CoT數據上訓練(如Flan-T5)
  • 結合:微調後的模型CoT效果更好

應用場景:

  • 數學問題:小學到高中數學
  • 邏輯謎題:推理遊戲、謎語
  • 代碼調試:逐步分析錯誤
  • 決策支持:多因素權衡
  • 教育輔導:展示解題過程

為何有效:

  • 分解:複雜問題拆分到可管理步驟
  • 計算:中間結果作為「工作記憶」
  • 檢查:可追蹤推理過程
  • 規模效應:大模型CoT收益更大

CoT是釋放LLM推理能力的關鍵提示技術。

亦稱「Few Shot Cot」。

相關AI領域

探索更多AI詞彙

查看所有分類,繼續學習AI知識