詳細解釋
逆強化學習（Inverse RL）是從專家示範行為推斷獎勵函數的方法，解決獎勵設計困難問題。
與標準RL的對比：
- 標準RL：給定獎勵，學習策略
- 逆RL：給定專家示範，反推獎勵
- 獎勵比策略更簡潔、可遷移
方法：
- 特徵匹配：讓學習者匹配專家特徵期望
- 最大熵：在滿足約束下最大化熵
- 基於梯度：深度逆RL
應用：
- 模仿學習：從人類示範學習
- 獎勵設計：自動推導合理獎勵
- 人類價值對齊：理解人類目標
- 機器人：從示範學習任務
與模仿學習的關係：
- 行為複製：直接複製動作
- 逆RL：先學獎勵，再優化
- 逆RL更靈活，對新環境魯棒
挑戰：
- 退化：多個獎勵可產生相同策略
- 需要專家示範
- 計算複雜
是學習人類意圖的重要方法。