????上節(jié)末尾談到牛頓法中隱含的另外一個問題在于hessian矩陣可能不是正定的。因此，d(k)=?F(x(k))?1g(x(k))可能不會是下降方向。Levenberg-Marquardt修正可以解決這個問題，保證每次產(chǎn)生的方向是下降方向，修正后的迭代公式是：

x(k+1)=x(k)?(F(x(k))+μkI)?1g(x(k))
其中， μk≥0。
????下面對此進行說明。 F為對稱矩陣，并不要求是正定的。 F的特征值為 λ1,λ2,…,λn，分別對應(yīng)特征向量 v1,v2,…,vn.特征值全部為實數(shù)，但不要求全部為正數(shù)。對 F進行簡單的修正，得到矩陣 G=F+μI，其中， μ≥0?？芍仃? G的特征值為： λ1+μ,λ2+μ,…,λn+μ,且滿足：
Gvi=(F+μI)vi=Fvi+μIvi=λivi+μvi=(λi+μ)vi
這說明只要 μ足夠大，就可以保證 G的特征值都為正數(shù)，也就是說 G為正定矩陣。同理，如果Levenberg-Marquardt中的 μk足夠大的話，總能保證搜索方向 d(k)=?F(x(k))?1g(x(k))是一個下降方向。引入一個搜索步長 αk,可以得到新的迭代公式:
x(k+1)=x(k)?αk(F(x(k))+μkI)?1g(x(k))
在實際應(yīng)用中，一開始可以選擇 μk較小的值，然后緩慢增加，直到出現(xiàn)下降特性。

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记（七）——Levenberg-Marquardt修正（牛顿法修正）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。