詳細解釋
動作空間(Action Space)是強化學習中Agent可選擇的所有可能動作的集合,定義了Agent的能力範圍。
類型:
- 離散動作:有限選項(如遊戲方向鍵)
- 連續動作:實數值範圍(如機器人關節角度)
- 混合動作:部分離散部分連續
設計考量:
- 完整性:能否達成目標
- 簡潔性:避免冗餘動作
- 粒度:動作粗細程度
- 可行性:物理/系統限制
示例:
- Atari遊戲:方向+按鈕(離散)
- 機器人:關節力矩(連續)
- 推薦系統:推薦物品列表
- LLM Agent:工具調用選項
與觀察空間的關係:
- Observation:Agent看到的環境
- Action:Agent能做的反應
大小影響:
- 空間大:探索困難
- 空間小:能力受限