頻率懲罰

Frequency Penalty

依出現頻率懲罰的取樣參數

詳細解釋

頻率懲罰(Frequency Penalty)是依詞語出現頻率進行懲罰的機制,防止模型過度使用常見詞,促進詞彙多樣性。

與重複懲罰的區別:

  • 重複懲罰:針對當前序列已出現的詞
  • 頻率懲罰:針對整體高頻詞(如「的」、「the」)

運作方式:

  • 追蹤每個詞的累積出現次數
  • 次數越多,機率懲罰越大
  • 鼓勵使用生僻詞和多樣表達

參數設置:

  • 0:無懲罰
  • 0.1-0.3:輕度懲罰
  • 0.5+:強懲罰(可能產生不自然文本)

應用場景:

  • 創意寫作:增加詞彙豐富度
  • 摘要生成:避免重複常用詞
  • 對話系統:讓回應更多樣化

注意:

  • 過強懲罰可能導致語法錯誤
  • 需與重複懲罰平衡
  • 某些任務(如翻譯)應較低

API參數:OpenAI、Claude等提供frequency_penalty選項。

探索更多AI詞彙

查看所有分類,繼續學習AI知識