情境式學習

In-context Learning

LLM從提示中的範例學習任務的能力

詳細解釋

情境式學習(In-Context Learning)是大型語言模型從提示中的範例學習新任務的能力,無需參數更新。

運作機制:

  • 少樣本提示:提供輸入-輸出範例
  • 模型理解:從範例中識別任務模式
  • 即時應用:對新輸入生成適當輸出

範例類型:

  • Zero-shot:無範例,僅描述任務
  • One-shot:一個範例
  • Few-shot:多個範例(3-10個常見)

為何有效:

  • 預訓練見過類似模式
  • 注意力機制捕捉範例關係
  • 模型參數已編碼廣泛知識

最佳實踐:

  • 範例多樣:覆蓋不同情況
  • 格式一致:統一的輸入輸出格式
  • 順序重要:最後範例影響最大
  • 範例品質:正確無誤的示範

微調 (模型微調)的區別:不修改模型參數,僅通過提示實現。

探索更多AI詞彙

查看所有分類,繼續學習AI知識