可微編程

Differentiable Programming

整個計算圖可求導的編程

詳細解釋

可微編程(Differentiable Programming)是整個計算圖可自動求導的編程範式,是深度學習的基礎。

核心:

  • 所有操作可微分
  • 自動微分:前向+反向傳播
  • 計算圖:操作組成的有向圖
  • 端到端梯度流

與傳統編程的對比:

  • 傳統:離散邏輯,無梯度
  • 可微:連續放鬆,可優化
  • 使得離散問題可用梯度下降

框架支援:

  • PyTorch:動態圖
  • TensorFlow:靜態圖
  • JAX:函數變換
  • 自動微分是核心功能

應用擴展:

  • 傳統算法可微化:排序、圖算法
  • 物理模擬:可微物理引擎
  • 渲染:可微渲染
  • 組合優化:柔化後梯度優化

挑戰:

  • 離散操作:需連續近似
  • 記憶體:長計算圖存儲中間值
  • 數值穩定性:梯度爆炸/消失

深度學習 (深度神經網絡)能夠端到端訓練的基礎設施。

探索更多AI詞彙

查看所有分類,繼續學習AI知識