詳細解釋
過擬合（Overfitting）是模型在訓練數據上表現良好但在未見過的數據上表現差的現象，是機器學習的核心挑戰之一。
症狀：
- 訓練損低：訓練集上損失很小，準確率很高
- 驗證損高：驗證集上損失大，準確率低
- 泛化差：實際部署性能不佳
- 記憶：記住訓練樣本而非學習規律
原因：
- 模型複雜度：參數太多，容量過大
- 訓練數據少：樣本不足以學習真實模式
- 訓練太久：過度優化訓練損失
- 噪聲學習：學習了數據中的隨機噪聲
檢測：
- 學習曲線：訓練vs驗證損失的分離
- 驗證集性能：與訓練集的差距
- 交叉驗證：多個驗證集的穩定性
- 置信度校準：過度自信的預測
解決方法：
偏差-方差分解：
- 過擬合：高方差（對數據敏感）
- 欠擬合：高偏差（過於簡化）
- 目標：平衡偏差和方差
深度學習的特殊性：
- 過參數化：現代模型遠超數據量但仍能泛化
- 雙重下降：更多參數有時反而更好
- 隱式正則化：梯度下降的偏好
過擬合是機器學習必須持續對抗的問題。