分數匹配

Score Matching

學習分數函數的生成方法

詳細解釋

分數匹配(Score Matching)是學習數據分布分數函數(對數密度梯度)的生成方法,是擴散模型的理論基礎之一。

分數函數:

  • s(x) = ∇ₓlog p(x)
  • 指向數據密度增加最快的方向
  • 描述數據分布的「坡度和山谷」

分數匹配:

  • 直接學習分數函數
  • 無需計算歸一化常數(對比MCMC)
  • 可用神經網路參數化

與擴散模型的關係:

  • 擴散過程的分數函數序列
  • 每個噪聲級別的分數
  • 去噪=沿分數方向移動

應用:

  • 基於分數的生成模型
  • 圖像生成(NCSN等)
  • 與擴散模型統一框架

訓練方法:

  • 去噪分數匹配:加噪後去噪
  • 切片分數匹配:隨機投影
  • 最常用:加噪數據去噪(等同擴散)

與擴散的統一:

  • 去噪分數匹配 = 擴散訓練
  • 分數指導生成 = 擴散採樣
  • 兩種視角描述同一方法

是理解擴散模型 (擴散生成模型)的理論視角。

探索更多AI詞彙

查看所有分類,繼續學習AI知識