推理標記

Reasoning Tokens

模型思考時內部消耗的 Token

詳細解釋

OpenAI o1/o3 等推理模型在生成可見答案前,先輸出的「思考過程」token。這些 token 對用戶不可見,但計入成本和上下文。

運作方式:

  • 用戶輸入問題
  • 模型生成隱藏的推理鏈(數學推導、邏輯步驟、自我糾正)
  • 最終輸出可見答案
  • 帳單包含隱藏推理 token

成本影響:

  • 推理 token 可能佔總 token 的 50-90%
  • 簡單問題因「過度思考」反而更貴
  • 但複雜問題的準確率提升可能值得額外成本

與 CoT 的區別:

  • Chain-of-Thought(CoT):顯式展示推理,用戶可見
  • Reasoning Tokens:隱藏,僅計費可見

設計哲學:

  • 隱藏理由:避免用戶被冗長推理干擾,或模型「洩露」內部機制
  • 但也有批評:透明度降低,難以驗證推理過程

優化方向:

  • 學習何時停止思考(避免無限循環)
  • 壓縮推理過程(更少 token 完成同樣推理)
  • 選擇性展示:允許用戶選擇查看或隱藏推理

這是「測試時計算擴展」的商業化體現—— 用戶為模型的「思考時間」付費,而非僅為答案。

探索更多AI詞彙

查看所有分類,繼續學習AI知識