詳細解釋
音頻擴散（Audio Diffusion）是將擴散模型應用於音頻生成，包括音樂、音效、語音合成等。
挑戰：
- 高採樣率：44.1kHz或48kHz
- 長序列：數秒音頻=百萬級採樣點
- 時間結構：節奏、旋律、和聲
- 計算：比圖像更大計算量
方法：
- 頻譜域：在梅爾頻譜或STFT上擴散
- 自回歸+擴散：結合兩者
- 壓縮表示：學習音頻的潛在表示
- 級聯：粗到細多階段生成
代表工作：
- AudioLDM：潛在擴散，文本生成音頻
- MusicLM：Google，音樂生成
- Stable Audio：Stability AI
- Jukebox：OpenAI，原始音頻級
應用：
- 音樂生成：風格、樂器控制
- 音效：電影、遊戲配樂
- 語音：聲音克隆、風格遷移
- 修復：老錄音修復
與文字轉語音 (TTS)的結合：
- 擴散提供更高品質
- 更自然、富有表現力
- 是下一代TTS的方向
是擴散模型在音頻領域的應用。