詳細解釋
情境式學習(In-Context Learning)是大型語言模型從提示中的範例學習新任務的能力,無需參數更新。
運作機制:
- 少樣本提示:提供輸入-輸出範例
- 模型理解:從範例中識別任務模式
- 即時應用:對新輸入生成適當輸出
範例類型:
- Zero-shot:無範例,僅描述任務
- One-shot:一個範例
- Few-shot:多個範例(3-10個常見)
為何有效:
- 預訓練見過類似模式
- 注意力機制捕捉範例關係
- 模型參數已編碼廣泛知識
最佳實踐:
- 範例多樣:覆蓋不同情況
- 格式一致:統一的輸入輸出格式
- 順序重要:最後範例影響最大
- 範例品質:正確無誤的示範
與微調 (模型微調)的區別:不修改模型參數,僅通過提示實現。