平坦最小值 (Flat Minima)

Flat Minima

損失曲面中曲率較小、參數微擾對損失影響小的區域,實務上常與較佳泛化相關。

詳細解釋

平坦最小值指參數空間中損失函數曲率較小的區域:權重小幅變動時損失變化不大,對應 Hessian 特徵值較小。經驗上 機器學習 (ML) 中 SGD 易落入較平坦的局部最小,且這類解常泛化較好;因此出現 SAM(Sharpness-Aware Minimization)等刻意尋找平坦解的優化方法。

理論上平坦與泛化的關係仍有爭議:部分設定下最平坦解未必泛化最好。與 機器學習 (ML)、優化、正則化相關。

探索更多AI詞彙

查看所有分類,繼續學習AI知識