原文鏈接：點擊

平時總看到牛頓法怎樣怎樣，一直不得要領，今天下午查了一下維基百科，寫寫我的認識，很多地方是直觀理解，并沒有嚴謹的證明。在我看來，牛頓法至少有兩個應用方向，1、求方程的根，2、最優化。牛頓法涉及到方程求導，下面的討論均是在連續可微的前提下討論。

?

1、求解方程。

并不是所有的方程都有求根公式，或者求根公式很復雜，導致求解困難。利用牛頓法，可以迭代求解。

原理是利用泰勒公式，在$x_0$處展開，且展開到一階，即:$$f(x)=f(x_0)+(x－x_0)f^{\prime }(x_0)$$
求解方程$f(x)=0$，即$$f(x_0)+(x?x_0)?f^{\prime }(x_0)=0$$ 求解上式得到
$$x=x_1=x_0－\frac{f(x_0)}{f^{\prime }(x_0)}$$
可以令$x=x_1$(這是為了我們使用迭代法求解)，得到
$$x_1=x_0－\frac{f(x_0)}{f^{\prime }(x_0)}$$
因為這是利用泰勒公式的一階展開，$f(x)=f(x_0)+(x－x_0)f^{\prime }(x_0)$和原始的$f(x)$并不是完全相等，而是近似相等，這里求得的$x_1$并不能讓$f(x)=0$，只能說$f(x_1)$的值比$f(x_0)$更接近$f(x)=0$。
于是乎，迭代求解的想法就很自然了，進而推出第n+1次迭代公式：
$$x_{n+1}=x_n－\frac{f(x_n)}{f^{\prime }(x_n)}$$
通過迭代，這個式子必然在$f(x^{?})=0$的時候收斂。

整個過程如下圖：

?

2、牛頓法用于最優化

在最優化的問題中，線性最優化至少可以使用單純行法求解，但對于非線性優化問題，牛頓法提供了一種求解的辦法。假設任務是優化一個目標函數f，求函數f的極大極小問題，可以轉化為求解函數f的導數f'=0的問題，這樣求可以把優化問題看成方程求解問題（f'=0）。剩下的問題就和第一部分提到的牛頓法求解很相似了。

這次為了求解f'=0的根，把f（x）的泰勒展開，展開到2階形式：

這個式子是成立的，當且僅當?Δx 無線趨近于0。此時上式等價與：

求解：

得出迭代公式：

一般認為牛頓法可以利用到曲線本身的信息，比梯度下降法更容易收斂（迭代更少次數），如下圖是一個最小化一個目標方程的例子，紅色曲線是利用牛頓法迭代求解，綠色曲線是利用梯度下降法求解。

在上面討論的是2維情況，高維情況的牛頓迭代公式是：

其中H是hessian矩陣，定義為：

?

高維情況依然可以用牛頓迭代求解，但是問題是Hessian矩陣引入的復雜性，使得牛頓迭代求解的難度大大增加，但是已經有了解決這個問題的辦法就是Quasi-Newton methond，不再直接計算hessian矩陣，而是每一步的時候使用梯度向量更新hessian矩陣的近似。

?? 1、牛頓法應用范圍

???????????????????????? 牛頓法主要有兩個應用方向：1、目標函數最優化求解。例：已知 f(x)的表達形式，，求 ，及g(x)取最小值時的 x ?，即

????????????????????????????????????????????????????????? 由于||f(x)||通常為誤差的二范數，此時這個模型也稱為最小二乘模型，即。

????????????????????????????????????????????????????? 2、方程的求解（根）。例：求方程的解：g(x) = 0，求 x ？

??????????????????? 這兩個應用方面都主要是針對g(x)為非線性函數的情況。2中，如果g(x)為線性情況下的求解通常使用最小二乘法求解。

???????????????????????? 牛頓法的核心思想是對函數進行泰勒展開。

?????????? 2、牛頓法用于方程求解

??????????????????? 對f(x)進行一階泰勒公式展開：

????????????????????????????????????????????? ??

??????????????????? 此時，將非線性方程 g(x) = 0 近似為線性方程：

????????????????????????????????????????????? ??

??????????????????? 若 f’(x) != 0，則下一次迭代解為：

????????????????????????????????????????????? ?????

??????????????????? 牛頓迭代示意圖（因此Newton迭代法也稱為切線法）：

?????????????????????????????????????????

????????? 3、牛頓法用于函數最優化求解

???????????????????? 對f(x)進行二階泰勒公式展開：

??????????????????????????????????????????? ???

???????????????????? 此時，將非線性優化問題 min f(x) 近似為為二次函數的最優化求解問題：

??????????????????????????????????????????? ???

???????????????????? 對于（5）式的求解，即二次函數（拋物線函數）求最小值，對（5）式中的函數求導：

??????????????????????????????????????????? ???

??????????????????????????????????????????? ??

???????????????????? 從本質上來講，最優化求解問題的迭代形式都是： ，

???????????????????? 其中k為系數，為函數的梯度（即函數值上升的方向），那么為下降的方向，

???????????????????? 最優化問題的標準形式是：求目標函數最小值，只要每次迭代沿著下降的方向迭代那么將逐漸達到最優，

???????????????????? 而牛頓將每次迭代的步長定為：。

??????????? 4、補充

????????????????????????? a、嚴格來講，在“3、牛頓法用于函數最優化求解”中對函數二階泰勒公式展開求最優值的方法稱為：Newton法，

???????????????????????? 而在“2、牛頓法用于方程求解”中對函數一階泰勒展開求零點的方法稱為：Guass-Newton（高斯牛頓）法。

???????????????????? b、在上面的陳述中，如果x是一個向量，那么公式中：

???????????????????????? 應該寫成：，為Jacobi(雅克比)矩陣。

???????????????????????? 應該寫成：，為Hessian（海森）矩陣。

???????????????????? c、牛頓法的優點是收斂速度快，缺點是在用牛頓法進行最優化求解的時候需要求解Hessian矩陣。

???????????????????????? 因此，如果在目標函數的梯度和Hessian矩陣比較好求的時候應使用Newton法。

???????????????????????? 牛頓法在進行編程實現的時候有可能會失敗，具體原因及解決方法見《最優化方法》-張薇 東北大學出版社 第155頁。

?????????? 5、Newton法與Guass-Newton法之間的聯系

??????????????????????? 對于優化問題 ，即，當理論最優值為0時候，這個優化問題就變為了函數求解問題：

?????????????????????????????????????????????????????????????

????????????????????????? 結論：當最優化問題的理論最小值為0時，Newton法求解就可變為Guass-Newton法求解。????????

???????????????????? 另外：對f(x)進行二階泰勒展開：

$$f(x)=f(x_k)+J{x}_k+0.5x_k^{\prime }H{x}_k$$

f(x)乘以f(x)的轉置并忽略二次以上的項：

$$f^T(x)f(x)=\{?f^T(x_k)+(J{x}_k{)}^T+(0.5x_k^{\prime }H{x}_k{)}^T$$

$$?\{f(x_k)+J{x}_k+0.5x_k^{\prime }H{x}_k\}$$

???????????????????????????????????????????????????

???????????????????????????????????????????????????

因此，當$x_k$在最優解附近時，即滿足$f(x_k)$，此時可認為：$H=J^{T}J$

??????????? 6、擴展閱讀

??????????????????? ??? a、修正牛頓(Newton)法

??????????????????? b、共軛方向法與共軛梯度法

??????????????????? c、擬牛頓法（避免求解Hessian矩陣）：DFP算法、BFGS算法

總結

以上是生活随笔為你收集整理的【数学与算法】牛顿法的两种应用：求根和最优化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。