詳細解釋
熵（Entropy）是信息論的核心概念，量化隨機變量的不確定性或信息量，在機器學習中用於決策樹、特徵選擇和模型訓練。
定義：
- H(X) = -Σ p(x) log p(x)
- 單位：比特（log₂）或納特（ln）
- 期望信息量
特性：
- 非負：H(X) ≥ 0
- 最大：均勻分布時最大（最不確定）
- 最小：確定事件時為0
- 可加：獨立變量熵相加
條件熵：
- H(Y|X)：已知X後Y的不確定性
- H(Y|X) ≤ H(Y)：信息不增加不確定性
互信息：
- I(X;Y) = H(X) - H(X|Y)
- 衡量X和Y的共享信息
- 對稱：I(X;Y) = I(Y;X)
應用：
- 決策樹：信息增益選擇特徵
- 特徵選擇：與目標的互信息
- 分類：交叉熵損失
- 聚類：評估純度
熵是衡量不確定性和信息的核心工具。