自回歸解碼

Autoregressive Decoding

逐token生成的解碼方式

詳細解釋

自回歸解碼(Autoregressive Decoding)是逐token生成序列的方式,每個新token依賴已生成的所有token。

運作方式:

  • 初始:給定提示(prompt)
  • 循環:
  1. 模型預測下一個token分布
  2. 採樣策略選擇token(greedy/beam/sample)
  3. 將token加入序列
  4. 重複直到結束條件
  • 輸出:完整生成的序列

特性:

  • 因果:每步只能看前面,不能看後面
  • 順序:從左到右(或從上到下)
  • 累積錯誤:早期錯誤可能傳播
  • 確定性/隨機:依採樣策略

與非自回歸的比較:

  • 自回歸:品質高,慢,串行
  • 非自回歸:快,可並行,品質略低
  • 現代趨勢:自回歸為主,研究非自回歸加速

加速方法:

  • 投機解碼:小模型草稿+大模型驗證
  • 分層生成:先骨架後細節
  • 早退:確定時提早停止

大型語言模型 (大語言模型 / 大模型)和序列生成的標準方式。

探索更多AI詞彙

查看所有分類,繼續學習AI知識