本文是Deep Learning 之 最優化方法系列文章的RMSProp方法。主要參考Deep Learning 一書。

整個優化系列文章列表：

Deep Learning 之 最優化方法

Deep Learning 最優化方法之SGD

Deep Learning 最優化方法之Momentum（動量）

Deep Learning 最優化方法之Nesterov(牛頓動量)

Deep Learning 最優化方法之AdaGrad

Deep Learning 最優化方法之RMSProp

Deep Learning 最優化方法之Adam

先上結論

1.AdaGrad算法的改進。鑒于神經網絡都是非凸條件下的，RMSProp在非凸條件下結果更好，改變梯度累積為指數衰減的移動平均以丟棄遙遠的過去歷史。

2.經驗上，RMSProp被證明有效且實用的深度學習網絡優化算法。

相比于AdaGrad的歷史梯度：

RMSProp增加了一個衰減系數來控制歷史信息的獲取多少：

---

再看原始的RMSProp算法:

---

再看看結合Nesterov動量的RMSProp，直觀上理解就是：
RMSProp改變了學習率，Nesterov引入動量改變了梯度，從兩方面改進更新方式。


總結

以上是生活随笔為你收集整理的各种优化算法公式快速回忆优化器-深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。