上下文長度

上下文長度（Context Length）是語言模型單次能處理的token數量上限，決定了一次能看到多少資訊。

重要性：

• 長文檔處理：論文、書籍需要長上下文
• 多輪對話：維持長對話歷史
• RAG效果：能放入更多檢索結果
• 程式理解：大程式碼檔案分析

歷代模型發展：

• GPT-3：2K → 4K
• GPT-4：8K → 32K
• Claude 3：200K
• Gemini 1.5：1M（百萬token）
• 開源：從2K到128K不等

長上下文技術：

• 線性偏置注意力、旋轉位置嵌入：外推位置編碼
• 滑窗注意力：局部注意力近似
• 稀疏注意力：減少計算量
• 壓縮技術：摘要歷史內容

實務考量：

• 並非所有任務都需要長上下文
• 長上下文計算成本更高
• 模型可能「忘記」中間內容（lost in the middle）
• 需測試實際有效長度

與上下文窗口 (語境窗口)同義。