詳細解釋
Top-p採樣（Nucleus Sampling）是動態的文本生成策略，從累積概率達到p的最小token集合中採樣，比top-k更適應不同上下文。
工作原理：
- 計算：
- 按概率降序排列token
- 累積概率直到達到p
- 從這個動態集合中採樣
示例（p=0.9）：
- token概率：[0.5, 0.3, 0.1, 0.05, 0.03, ...]
- 累積：[0.5, 0.8, 0.9] ← 達到0.9
- 採樣集合：前3個token
- 下一個token可能不同集合
與Top-k的對比：
- Top-k：固定k個
- Top-p：動態集合大小
- Top-p優勢：
- 分布平坦時：包含更多選項
- 分布尖銳時：只選高概率少數
- 更自適應
參數p：
- p=0.01：接近貪婪
- p=0.9：保守但有多樣性
- p=0.95：較多樣
- p=1.0：包含所有（不過濾）
應用：
- LLM默認：通常top-p=0.9或0.95
- 創意生成：較高p
- 準確性重要：較低p
組合策略：
- Top-p + Temperature：
- 常見默認設置
- temperature：0.7-1.0
- top_p：0.9-0.95
- 三重組合：
- top_k：先粗篩（如top-50）
- top_p：再精篩
- temperature：調整分布
優勢：
- 自適應：根據分布動態調整
- 簡單：單一參數p
- 有效：廣泛使用證明
Top-p是LLM生成的標準採樣策略。