詳細解釋
分數匹配(Score Matching)是學習數據分布分數函數(對數密度梯度)的生成方法,是擴散模型的理論基礎之一。
分數函數:
- s(x) = ∇ₓlog p(x)
- 指向數據密度增加最快的方向
- 描述數據分布的「坡度和山谷」
分數匹配:
- 直接學習分數函數
- 無需計算歸一化常數(對比MCMC)
- 可用神經網路參數化
與擴散模型的關係:
- 擴散過程的分數函數序列
- 每個噪聲級別的分數
- 去噪=沿分數方向移動
應用:
- 基於分數的生成模型
- 圖像生成(NCSN等)
- 與擴散模型統一框架
訓練方法:
- 去噪分數匹配:加噪後去噪
- 切片分數匹配:隨機投影
- 最常用:加噪數據去噪(等同擴散)
與擴散的統一:
- 去噪分數匹配 = 擴散訓練
- 分數指導生成 = 擴散採樣
- 兩種視角描述同一方法
是理解擴散模型 (擴散生成模型)的理論視角。