基本上講，Adam就是將day8.2提到的momentum動量梯度下降法和day8.3提到的RMSprop算法相結合的優化算法

首先初始化 S_dW = 0 S_db = 0 V_dW = 0 V_db = 0

On iteration t：

　　compute dw，db using current Mini-batch

　　V_dW =?β₁v_dW? +? (1-β₁)dW　　V_db? =?β₁v_db +? (1-β₁)db ?? 先做momentum

　　S_dW =?β₂S_dW? +? (1-β₂)dW²S_db? =?β₂S_db +? (1-β₂)db²再做RMSprop

? ? ?? 偏差修正：V_dw^corrected =?v_dW / (1 -?β₁^t),V_db^corrected =?v_db / (1 -?β₁^t)

?　　　　　　? S_dw^corrected = S_dW / (1 -?β₂^t),S_db^corrected = S_db / (1 -?β₂^t)

? ? ? ?W = W -?α（V_dw^corrected / sqrt.S_dw^corrected+ε），b = b -?α（V_db^corrected / sqrt.S_db^corrected+ε）

超參數的設定：

α：learning rate，需要一系列的嘗試

β₁：0.9 (為了計算dw) one moment一階矩

β₂：0.999 (為了計算dw²) second moment二階矩

ε：10^-8

注意除α需要設定外，Adam算法的β₁、β₂、ε三個參數都不必去設定，根據Andrew Ng的解釋來看很少有業內人士改變Adam算法原文的這三個參數

Adam = adaptive moment estimation

轉載于:https://www.cnblogs.com/NWNU-LHY/p/11195798.html

總結

以上是生活随笔為你收集整理的ubuntu之路——day8.4 Adam自适应矩估计算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。