1 Adam介紹

Adam可以想成RMSprop+momentum

怎么記呢？Momentum累加前面是沒有分式的，相當(dāng)于除了1，所以在分子；RMSprop累加式子是在分母的，所以也在分母。

1.1 Bias Correction

2 Adam 特點

2.1 Adam通常在RNN中有很好的performance

2.2 Adam在靠近minimum的地方可能不能很好地收斂

——>靠近minimum的地方，梯度的值很小，因而梯度的平方比梯度更小。所以rt比st還要小，這就導(dǎo)致st除rt的值會較大。即每次變化的幅度會很大——這就可能導(dǎo)致overshooting

解決方法可以是慢慢地減少學(xué)習(xí)率，或者當(dāng)快靠近minimum的時候，切換成帶momentum的SGD

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：Adam的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。