如何理解神經網絡優化中Momentem能夠緩解hessian矩陣病態的問題？

1、首先介紹一下，矩陣的病態問題

矩陣病態主要是因為矩陣向量之間相關性太大，在二維上說就是矩陣向量之間的夾角太小，導致這兩個相似的矩陣向量稍有改變，計算結果就會有很大的不同。

看一個例子更容易理解：

2、接著介紹下hessian矩陣，

hesiian矩陣很好理解，它就是是一個多元函數的二階偏導數構成的方陣，描述了函數的局部曲率。

在神經網絡的優化中，hesiian矩陣病態就表現在局部最小點和鞍點，因為在局部最小點和鞍點處四周的梯度變化率（梯度和二階導都是相似的）都是相似的，但是往不同的梯度方向前進又會導致優化結果有較大的差異。

3、這樣就容易理解了，Momentum有一定的擺脫局部最小點和鞍點的能力，所以也就可以說成能一定程度上緩解hessian矩陣病態的問題，其實這是同一個問題的不同表述。

總結

以上是生活随笔為你收集整理的如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。