標籤平滑

標籤平滑（Label Smoothing）是一種正則化技術，將硬標籤（0/1）替換為軟標籤（如0.1/0.9），防止模型過度自信並提升泛化能力。

核心思想：

• 硬標籤：[0, 1, 0] 表示絕對確定
• 軟標籤：[0.1, 0.8, 0.1] 保留小概率給其他類
• 防止過度擬合訓練數據的標籤噪聲
• 鼓勵模型產生更平滑的概率分布

數學表達：

y' = (1 - ε) × y + ε / K

• y：原始標籤（one-hot）
• ε：平滑參數（通常0.1）
• K：類別數
• y'：平滑後的標籤

為何有效：

• 正則化效果：懲罰過度自信的預測
• 防止過擬合：不強迫模型記住訓練標籤
• 校準：改善模型概率的校準性（信心=準確率）
• 泛化提升：在多個任務上驗證有效

應用場景：

• 圖像分類：ResNet、EfficientNet的標準配置
• 機器翻譯：減少過度生成高頻詞
• 語音識別：改善序列生成質量
• 大型語言模型 (大語言模型 / 大模型)預訓練：部分模型使用標籤平滑

與其他正則化的關係：

• 隨機失活：結構正則化
• L2正規化：權重衰減
• 標籤平滑：輸出層正則化
• 可同時使用

注意事項：

• ε過大：模型信心不足
• ε過小：效果不明顯
• 類別不平衡：可能需要調整策略
• 知識蒸餾：與教師模型軟標籤類似

標籤平滑是提升分類模型泛化的簡單有效技術。