局部最優(yōu)化問題

如圖左側(cè)所示，似乎存在很多局部最優(yōu)解。某個算法可能會困在局部最優(yōu)解里，而不能達到全局最優(yōu)解。如果通過畫圖的情況，比如說這種兩緯度的情況，就很容易出現(xiàn)許多局部最優(yōu)解。然而，通過這樣的低緯來理解高維是不正確的。

事實上如果你要創(chuàng)建一個神經(jīng)網(wǎng)絡，通常梯度為0的點并不是圖中局部最優(yōu)點，而是右圖中的鞍點（saddle points），在高維情況，我們通常碰到的是鞍點而不是局部最優(yōu)點。

對于深度學習而言，大部分低維空間的直覺不能應用到高維空間。

那么如果局部最優(yōu)不是問題，那么問題是什么呢？

結(jié)果是平穩(wěn)段會減緩學習。

平穩(wěn)段是一塊區(qū)域，那里的導數(shù)長時間接近于0。

那么本部分的經(jīng)驗是首先，你不太可能在訓練大型神經(jīng)網(wǎng)絡中困在局部最優(yōu)解。條件是大型神經(jīng)網(wǎng)絡有放多參數(shù)，而且成本函數(shù)J被定義在較高緯度空間。第二點，平穩(wěn)段是個問題，會使你學的非常緩慢。

吳教主深度學習和神經(jīng)網(wǎng)絡課程總綱

總結(jié)

以上是生活随笔為你收集整理的2.2.7 局部最优化问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。