詳細解釋
偏差-方差權衡（Bias-Variance Tradeoff）是機器學習的核心概念，描述模型複雜度與泛化誤差的關係，尋找最佳平衡點。
組成：
- 偏差（Bias）：
- 模型假設導致的系統誤差
- 高偏差：欠擬合
- 簡單模型通常高偏差
- 方差（Variance）：
- 對訓練數據波動的敏感度
- 高方差：過擬合
- 複雜模型通常高方差
- 不可約誤差：
- 數據噪聲
- 無法消除
總誤差：
- Error = Bias² + Variance + Irreducible Error
- 降低一方通常增加另一方
欠擬合 vs 過擬合：
- 欠擬合：訓練誤差高，測試誤差高
- 過擬合：訓練誤差低，測試誤差高
- 最佳：兩者平衡
處理策略：
- 高偏差：
- 增加模型複雜度
- 添加特徵
- 減少正則化
- 高方差：
- 增加數據
- 正則化
- 簡化模型
- 集成方法
學習曲線：
- 訓練誤差 vs 驗證誤差
- 隨數據增加變化
- 診斷偏差方差問題
偏差-方差權衡是模型調優的指導原則。