詳細解釋
損失函數（Loss Function）衡量模型預測與真實值的差距，是優化的目標函數，指導模型參數更新方向。
常見損失函數：
- 回歸：
- MSE（均方誤差）：連續值
- MAE（平均絕對誤差）：魯棒
- Huber：結合兩者
- 分類：
- 交叉熵：多分類
- 二元交叉熵：二分類
- 合頁損失（Hinge）：SVM
- 序列：
- CTC：語音識別
- 交叉熵：語言模型
選擇原則：
- 匹配任務：回歸/分類
- 匹配輸出：概率/值
- 考慮異常值：MSE敏感，MAE魯棒
- 計算效率
與優化的關係：
- 損失函數定義優化目標
- 梯度下降最小化損失
- 損失曲線監測訓練
正則化項：
- L1/L2：權重懲罰
- Dropout：隨機失活
- 早停：間接正則化
損失曲線：
- 訓練損失：應持續下降
- 驗證損失：檢測過擬合
- 收斂：損失穩定
損失函數是訓練的優化目標。
亦稱「Loss Scaling」。