近端策略優化

PPO（Proximal Policy Optimization）是近端策略優化算法，當前最常用的策略梯度方法，簡單、穩定、效果好。

核心創新：

• 替代目標：限制新舊策略比率
• 裁剪：防止策略更新過大
• 簡單：只需調少量超參數
• 穩定：通常不崩潰

損失函數：

• 裁剪替代目標
• L^{CLIP}(θ) = E[min(rₜAₜ, clip(rₜ, 1-ε, 1+ε)Aₜ)]
• rₜ：新舊策略比率
• Aₜ：優勢函數估計

與TRPO的關係：

• TRPO：用複雜約束保證單調提升
• PPO：簡化近似，效果相當
• PPO更易實現，更流行

優勢：

• 簡單：幾行代碼可實現
• 通用：離散、連續動作都適用
• 穩定：超參數魯棒
• 效果：通常是首選算法

應用：

• ChatGPT的RLHF階段
• 遊戲AI：Dota 2、StarCraft II
• 機器人控制
• 對話系統優化
• 幾乎所有RLHF應用

是強化學習的實用首選。