詳細解釋
OpenAI o1/o3 等推理模型在生成可見答案前,先輸出的「思考過程」token。這些 token 對用戶不可見,但計入成本和上下文。
運作方式:
- 用戶輸入問題
- 模型生成隱藏的推理鏈(數學推導、邏輯步驟、自我糾正)
- 最終輸出可見答案
- 帳單包含隱藏推理 token
成本影響:
- 推理 token 可能佔總 token 的 50-90%
- 簡單問題因「過度思考」反而更貴
- 但複雜問題的準確率提升可能值得額外成本
與 CoT 的區別:
- Chain-of-Thought(CoT):顯式展示推理,用戶可見
- Reasoning Tokens:隱藏,僅計費可見
設計哲學:
- 隱藏理由:避免用戶被冗長推理干擾,或模型「洩露」內部機制
- 但也有批評:透明度降低,難以驗證推理過程
優化方向:
- 學習何時停止思考(避免無限循環)
- 壓縮推理過程(更少 token 完成同樣推理)
- 選擇性展示:允許用戶選擇查看或隱藏推理
這是「測試時計算擴展」的商業化體現—— 用戶為模型的「思考時間」付費,而非僅為答案。