詳細解釋
Token是大型語言模型 (大語言模型 / 大模型)處理文本時使用的最小單位，可以是一個字、一個詞的一部分、或一個標點符號。不同語言的token數量差異很大。
Token化過程：
- 英文：1個token約等於4個字符或0.75個單詞
- 中文：1個中文字通常需要1-2個token
- 程式碼：語法和關鍵字有特定編碼
為何重要：
- Token計費：API調用按token數量計費
- 上下文窗口 (語境窗口)：模型有最大token處理限制
- 成本控制：減少token使用可降低費用
優化建議：
- 使用簡潔的提示詞（提示詞 (Prompt / 咒語)）
- 避免不必要的格式化
- 中文內容可考慮先翻譯為英文處理
了解token計算對控制AI使用成本至關重要。