詳細解釋
上下文窗口（Context Window）指大型語言模型 (大語言模型 / 大模型)單次能處理的最大Token (詞元 / 標記)數量，包括輸入和輸出。這決定了模型能「記住」多少資訊。
主流模型窗口大小：
- GPT-3.5：4K token（約3000字）
- GPT-4：8K-128K（最多約10萬字）
- Claude：200K（約15萬字）
- Gemini 1.5：1M-2M token
- 開源模型：通常4K-8K
為何重要：
- 長文件：無法處理超過窗口的內容
- 對話歷史：長對話會遺忘早期內容
- 檢索增強生成 (RAG)：檢索結果受限於窗口
- 程式碼：大文件需分段處理
應對策略：
- 分段處理：將長文分塊處理
- 滾動窗口：只保留最近對話
- Map-Reduce：先分段摘要再整合
- 長上下文模型：選擇窗口大的模型
成本考量：
- 長窗口模型通常更貴
- 輸入長度直接影響Token計費
- 需要權衡能力與成本
是選擇大型語言模型 (大語言模型 / 大模型)和設計AI (人工智能)應用的重要參數。