詳細解釋
頻率懲罰(Frequency Penalty)是依詞語出現頻率進行懲罰的機制,防止模型過度使用常見詞,促進詞彙多樣性。
與重複懲罰的區別:
- 重複懲罰:針對當前序列已出現的詞
- 頻率懲罰:針對整體高頻詞(如「的」、「the」)
運作方式:
- 追蹤每個詞的累積出現次數
- 次數越多,機率懲罰越大
- 鼓勵使用生僻詞和多樣表達
參數設置:
- 0:無懲罰
- 0.1-0.3:輕度懲罰
- 0.5+:強懲罰(可能產生不自然文本)
應用場景:
- 創意寫作:增加詞彙豐富度
- 摘要生成:避免重複常用詞
- 對話系統:讓回應更多樣化
注意:
- 過強懲罰可能導致語法錯誤
- 需與重複懲罰平衡
- 某些任務(如翻譯)應較低
API參數:OpenAI、Claude等提供frequency_penalty選項。