二元交叉熵

二元交叉熵（Binary Cross-Entropy, BCE）是二分類任務的標準損失函數，衡量模型預測概率與真實標籤的差異。

數學定義：

BCE = -[y × log(p) + (1-y) × log(1-p)]

• y：真實標籤（0或1）
• p：預測為1的概率（sigmoid輸出）
• 對數：自然對數

特性：

• 對數損失：預測錯誤時損失大（對數爆炸）
• 概率解釋：可解釋為負對數似然
• 凸函數：優化問題有唯一全局最優
• 梯度友好：梯度計算簡單

與交叉熵的關係：

• BCE：二分類（兩個類別）
• 多分類交叉熵：多分類（softmax輸出）
• BCE是多分類交叉熵的二分類特例

應用場景：

• 二分類：垃圾郵件檢測、疾病診斷、點擊預測
• 多標籤分類：每個標籤獨立的BCE（如圖像同時有貓和狗）
• 像素級預測：圖像分割（每個像素二分類）
• 生成模型：生成對抗網絡 (GAN)的判別器損失

注意事項：

• 數值穩定：預測值接近0或1時，取log前裁剪到[ε, 1-ε]
• 類別不平衡：可能需要加權BCE
• 正則化：結合L2正則化防止過擬合

加權BCE：

• 解決類別不平衡
• 正類權重高於負類
• 例如：欺詐檢測中正類（欺詐）權重更高

BCE是二分類任務的首選損失函數。