詳細解釋
自回歸解碼(Autoregressive Decoding)是逐token生成序列的方式,每個新token依賴已生成的所有token。
運作方式:
- 初始:給定提示(prompt)
- 循環:
- 模型預測下一個token分布
- 採樣策略選擇token(greedy/beam/sample)
- 將token加入序列
- 重複直到結束條件
- 輸出:完整生成的序列
特性:
- 因果:每步只能看前面,不能看後面
- 順序:從左到右(或從上到下)
- 累積錯誤:早期錯誤可能傳播
- 確定性/隨機:依採樣策略
與非自回歸的比較:
- 自回歸:品質高,慢,串行
- 非自回歸:快,可並行,品質略低
- 現代趨勢:自回歸為主,研究非自回歸加速
加速方法:
- 投機解碼:小模型草稿+大模型驗證
- 分層生成:先骨架後細節
- 早退:確定時提早停止
是大型語言模型 (大語言模型 / 大模型)和序列生成的標準方式。