記錄了關于梯度的歷史

?

SGD?

SGD with Momentum

防止gradient為0，SGD停止不動了

sgd with momentum，前面的移動會累加到下一步

sgd with momentum，前面的移動會累加到下一步，所以小球不會卡在局部的一個最優(yōu)的位置

Adagrad

前幾個time step如果坡度很大，就會暴走，走到不好的位置上，有個分母就會走小步一點

RMSProp

怕使用adagrad時，一開始的坡度很大，那么步幅就會很小，走沒幾步就停了

?RMSProp保證分母不會無止境變大

Adam

一開始，帽等式右邊分母小于1，保證帽一開始不為0，且不會隨時間變化變得太大

adam：一開始沖的很快

sgdm：沖的不會太快，穩(wěn)一些，不會有太大的上下起伏的情況?

沖的快會形成sharp mininum，generalization gap 大

沖的不快 flat mininum，generalization gap 小

combine一下，一開始用adam后面用sgdm

如何讓adam像sgdm一樣收斂得又快又好

?帽等式10的5次方，等于10^5*10^5*0.001=10^7

前面100998步都是亂走，并且走了很長，100999步才是對的，然而走了很短。

記住以前最大的grad，但是這和adagrad有一樣的錯誤，分母容易變成0?

讓learning_rate自己調(diào)整?

sgdm最后很穩(wěn)，但是速度太慢了

可以通過調(diào)整learning_rate加快速度?

?learning_rate大小大小變化，周期性變化

一開始gradient很亂

方向比較亂的時候走小步一點，方向不亂的時候走大步一點

一開始用sgdm后面用adam

RAdam一開始不用Adam，因為Adam不穩(wěn)，并且<4的時候是不能用RAdam?

SWATS一開始用Adam，因為Adam一開始快，后面用sgdm穩(wěn)

?

?

實踐中用的最多，用weight decay的效果會比較好?

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的李宏毅深度学习——优化方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。