詳細解釋
似然函數（Likelihood Function）是統計學中給定觀測數據下，評估模型參數合理性的函數，是參數估計的基礎。
核心概念：
- L(θ|X) = P(X|θ)
- θ：模型參數（待估計）
- X：觀測數據
- P(X|θ)：給定參數下觀測到數據的概率
與概率的區別：
- 概率：P(X|θ)，給定θ，X的分布
- 似然：L(θ|X)，給定X，θ的函數
- 相同公式，不同視角
最大似然估計（MLE）：
- 尋找使似然最大的參數
- θ̂_MLE = argmax L(θ|X)
- 實踐中通常最大化對數似然（對數似然）
- 等價於最小化負對數似然（損失函數）
例子：
- 高斯分布：MLE估計均值=樣本均值，方差=樣本方差
- 邏輯回歸：MLE給出最優權重
- 語言模型：最大化序列的對數概率
性質：
- 一致性：樣本量趨於無限時收斂到真實參數
- 漸近正態性：大樣本下近似正態分布
- 有效性：達到Cramér-Rao下界（最小方差）
- 不變性：參數變換後的MLE是原MLE的變換
與貝葉斯方法的關係：
- MLE：頻率學派，最大化似然
- MAP：最大化後驗 = 似然 + 先驗
- 貝葉斯：完整後驗分布，不僅是點估計
應用：
- 幾乎所有參數估計問題
- 機器學習 (ML)模型的訓練
- 統計建模的核心工具
似然函數是統計推斷的基石。