對數似然

對數似然（Log-Likelihood）是統計和機器學習中評估模型參數的核心函數，表示模型對觀測數據的解釋能力。

似然函數：

• L(θ|X) = P(X|θ)：給定參數θ，觀測到數據X的概率
• 對數似然：ℓ(θ) = log L(θ|X)
• 為何取對數：
• 數值穩定：避免概率連乘下溢
• 簡化計算：乘積變求和
• 單調性：最大化似然 = 最大化對數似然

最大似然估計（MLE）：

• 尋找使對數似然最大的參數
• θ̂ = argmax ℓ(θ|X)
• 直觀：選擇使觀測數據最可能的參數

與損失函數的關係：

• 最大化對數似然 = 最小化負對數似然
• 負對數似然作為損失函數
• 交叉熵 = 負對數似然（分類任務）
• MSE ∝ 負對數似然（高斯噪聲假設下的回歸）

應用場景：

• 邏輯回歸：最大化對數似然
• 線性回歸：最小化MSE等價於MLE（高斯誤差假設）
• 混合模型：EM算法最大化對數似然
• 語言模型：最大化序列的對數概率
• 貝葉斯推斷：對數後驗 = 對數似然 + 對數先驗

性質：

• 一致性：樣本量大時收斂到真實參數
• 漸近正態：大樣本下估計量近似正態分布
• 效率：達到Cramér-Rao下界（最小方差）

對數似然是統計建模和機器學習的基石。