RMSprop

RMSprop 維護每個參數的梯度平方的指數移動平均，更新時以該平均的平方根除梯度，使擺動大的維度步長變小。可緩解 RNN 訓練中的梯度爆炸/消失，且計算簡單。Adam優化器 可視為 RMSprop 加上動量。與 Adam優化器、梯度下降 (梯度遞減)、反向傳播 (倒傳遞) 相關。