動作空間

Action Space

RL中可選動作的集合

詳細解釋

動作空間(Action Space)是強化學習中Agent可選擇的所有可能動作的集合,定義了Agent的能力範圍。

類型:

  • 離散動作:有限選項(如遊戲方向鍵)
  • 連續動作:實數值範圍(如機器人關節角度)
  • 混合動作:部分離散部分連續

設計考量:

  • 完整性:能否達成目標
  • 簡潔性:避免冗餘動作
  • 粒度:動作粗細程度
  • 可行性:物理/系統限制

示例:

  • Atari遊戲:方向+按鈕(離散)
  • 機器人:關節力矩(連續)
  • 推薦系統:推薦物品列表
  • LLM Agent:工具調用選項

觀察空間的關係:

  • Observation:Agent看到的環境
  • Action:Agent能做的反應

大小影響:

  • 空間大:探索困難
  • 空間小:能力受限

探索更多AI詞彙

查看所有分類,繼續學習AI知識