本文轉(zhuǎn)載自牛頓法，在有些概念不清晰的地方，我添加了一些自己的說明。

牛頓法及其變種方法：目錄鏈接:

(1)?牛頓法

(2)?擬牛頓條件

(3)?DFP 算法

(4)?BFGS 算法

(5)?L-BFGS 算法

(6) 高斯-牛頓法

---

牛頓法至少有兩個應用方向:

• 1.求方程的根;
• 2.最優(yōu)化。

詳情請參考這篇博客：【數(shù)學與算法】牛頓法的兩種應用：求根和最優(yōu)化

---

下面是數(shù)學原理和推導：

機器學習算法中經(jīng)常碰到非線性優(yōu)化問題，如 Sparse Filtering 算法，其主要工作在于求解一個非線性極小化問題。在具體實現(xiàn)中，大多調(diào)用的是成熟的軟件包做支撐，其中最常用的一個算法是L-BFGS。為了解這個算法的數(shù)學機理，這幾天做了一些調(diào)研，現(xiàn)把學習過程中理解的一些東西整理出來。

---

本部分將兩個牛頓法：原始牛頓法和阻尼牛頓法。

還有一些牛頓法例如擬牛頓法，請參考博客擬牛頓法，里面有牛頓法系列博客索引，點擊即可跳轉(zhuǎn)。


=====================================================================================

---

對一維向量$x$求導，就是常見的求導，對多維向量$X$求導，就變成了對每個維度求偏導，也就是進行梯度算子運算了。
下面會將式(1.7)對向量$X$求導，也就是進行梯度算子運算。
有個知識點：(證明請參考：二次型求導)
$$\frac{d(X^{T}AX)}{dX}=2AX$$
其中$A$是常數(shù)對稱矩陣，$A=A^T$。

---

=====================================================================================

=====================================================================================

---

總結(jié)

以上是生活随笔為你收集整理的【数学与算法】牛顿法 及其一系列改进算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。