對于局部方法，當(dāng)接近最優(yōu)點(diǎn)時(shí)，才保證收斂。單位步長。
全局方法采用線搜索或信賴域方法

1 局部方法

1.1 牛頓方法

如上圖，求解非線性方程組的根類似于求解無約束問題中的最優(yōu)值，最優(yōu)值在穩(wěn)定點(diǎn)取到。




非精確牛頓法任然是local 的算法，沒有使用精確的線搜索

不精確牛頓法余量不超過一個(gè)上界

1.1.2 Broyden’s Method

利用$B_k$近似雅可比，不要求其對稱
推導(dǎo)如下圖，

2. 全局算法

出現(xiàn)在一個(gè)區(qū)間內(nèi)震蕩的原因是前面的牛頓方法沒有采用精確的線搜索，得到P直接更新迭代點(diǎn)，無法保證向好的方向進(jìn)行

2.1 價(jià)值函數(shù)

將原始問題轉(zhuǎn)化為價(jià)值函數(shù)的優(yōu)化。


如果雅可比非奇異，則r(x*)=0.對于價(jià)值函數(shù)的穩(wěn)定點(diǎn)，如果雅可比非奇異，則穩(wěn)定點(diǎn)對應(yīng)r(x)=0的解，但如果奇異的化則有可能穩(wěn)定點(diǎn)不對應(yīng)r的根。
所以從價(jià)值函數(shù)角度（非線性最小二乘）求解會(huì)出現(xiàn)這樣的問題，但是還是很有益的在很多方面


可以利用最小二乘中的SVD等避免求$J^{T}J$

2.1信賴域求解

3. Continuation/Homotopy Methods

總結(jié)

以上是生活随笔為你收集整理的Numerical Optimization之Nonlinear Equations的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。