詳細解釋
非自回歸解碼（Non-Autoregressive Decoding）是可並行生成多token的解碼方式，犧牲品質換取速度。
與自回歸解碼的對比：
- 自回歸：逐token，串行，品質高，慢
- 非自回歸：一次多token，並行，品質較低，快
類型：
- 純非自回歸：完全並行
- 半自回歸：迭代精煉（如Mask-Predict）
- 多階段：粗到細生成
方法：
- Mask-Predict：遮罩部分token，迭代預測
- CTC：連接時序分類
- 知識蒸餾：從自回歸教師學習
應用：
- 機器翻譯：早期非自回歸研究
- 語音識別：CTC解碼
- 需要極速的場景
挑戰：
- 品質差距：通常不如自回歸
- 條件獨立假設：token間獨立難建模
- 多模態：輸出多樣性vs確定性
現代發展：
- 投機解碼：自回歸+小模型加速
- 非自回歸仍研究活躍
- 但在LLM主流仍是自回歸
是加速生成的研究方向之一。