元學習

元學習（Meta-Learning）是「學習如何學習」的高層學習方法，讓模型能快速適應新任務。

類型：

• 基於優化：學習好的初始化（MAML）
• 基於模型：學習更新規則（LSTM優化器）
• 基於度量：學習相似度度量（原型網路）

MAML（Model-Agnostic Meta-Learning）：

• 找到對任務敏感的初始化
• 少量梯度步驟適應新任務
• 訓練時模擬少樣本場景

應用：

• 少樣本學習：少樣本學習
• 快速適應：新領域、新用戶
• 超參數優化：學習學習率等
• 神經架構搜索：神經架構搜索

與遷移學習的關係：

• 遷移：固定預訓練模型
• 元學習：優化學習過程本身
• 元學習更靈活，但訓練更複雜

挑戰：

• 二階導數：計算和記憶體開銷
• 任務分布：元訓練任務需多樣
• 泛化：元學習能力泛化到新類型任務

是實現快速適應和通用AI的重要方向。