Adam優化算法

Adam算法的全稱是Adaptive Moment Estimation

Adam算法基本上是momentum算法和RMSprop算法的結合。我們下面介紹一下這個算法

算法如圖所示，注意圖中VcorrecteddwVdwcorrected表示的是偏差修正。

這個算法中有許多的超參數，那么該如何選擇超參數呢？

如圖所示，學習率是我們需要調整的參數。β1β1是momentum的超參數，一般設置為0.9。β2β2的話Adam算法的發明者推薦使用0.999。這里的數一般設置成這個就挺好的了，業內人士很少去改變關于ββ的參數。還有εε也是如此。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.2.5 Adam优化算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。