詳細解釋
Token計費是大型語言模型 (大語言模型 / 大模型)API (應用程式介面)的主要收費模式，根據輸入和輸出的Token (詞元 / 標記)數量收費，而非固定月費或請求次數。
為何用Token：
- 公平反映計算成本：長文本成本更高
- 精確計量：不同語言的處理成本差異
- 透明可預測：可估算使用成本
定價結構：
- 輸入token（Input）：發送給模型的文本
- 輸出token（Output）：模型生成的文本
- 不同模型不同價格：GPT-4比GPT-3.5貴約15-30倍
成本控制策略：
- 優化提示詞 (Prompt / 咒語)：簡潔清晰的指令
- 上下文壓縮：只發送必要的歷史
- 使用更便宜的模型：GPT-3.5完成簡單任務
- 緩存：存儲常見查詢結果
- 批處理：合併多個請求
成本估算：
- 英文：1個token ≈ 4個字符
- 中文：1個字 ≈ 1-2個token
- OpenAI提供token計算工具