目標函數

目標函數（Objective Function）是機器學習中需要最小化或最大化的函數，定義了模型的優化目標和性能衡量標準。

別名和相關概念：

• 損失函數（Loss Function）：需要最小化的目標（通常指單樣本）
• 成本函數（Cost Function）：整個數據集的平均損失
• 效用函數（Utility Function）：需要最大化的目標（強化學習）
• 目標函數：最通用的術語

常見類型：

監督學習：

• 回歸：均方誤差、平均絕對誤差、Huber損失
• 分類：交叉熵、二元交叉熵、合頁損失
• 排序：排序損失、對比損失

無監督學習：

• 聚類：簇內距離最小化
• 降維：重建誤差最小化
• 生成模型：對數似然最大化

強化學習：

• 期望回報最大化
• 值函數估計誤差最小化
• 策略熵最大化（探索）

設計考量：

• 可微性：便於梯度下降優化
• 凸性：凸函數保證全局最優
• 魯棒性：對異常值不敏感
• 計算效率：評估和梯度計算快

正則化項：

• 目標函數 = 損失 + λ × 正則化
• L1正規化、L2正規化：懲罰大權重
• 隨機失活：隨機失活（隱式正則化）
• 約束條件：如權重範數限制

多目標優化：

• 多任務學習：多個損失的加權和
• 帕累托最優：無法同時改善所有目標
• 權重調整：平衡不同目標的重要性

目標函數是機器學習問題的數學表述。