分類目錄：《機器學習中的數學》總目錄
相關文章：
· 梯度下降法（Gradient Descent）
· 隨機梯度下降（Stochastic Gradient Descent, SGD）
· 牛頓迭代法（Newton‘s Method）
· 擬牛頓法（Quasi-Newton Methods）
· Momentum（Gradient Descent with Momentum, GDM）
· Nesterov Momentum
· AdaGrad
· RMSProp
· Adam（Adaptive Moments）
· 共軛梯度法（Conjugate Gradient）
· 遺傳算法（Genetic Algorithm）
· 粒子群算法
\qquad· 基礎知識
\qquad· 帶慣性權重的粒子群算法
\qquad· 改進的粒子群算法
· 模擬退火算法（Simulated Annealing，SA）

---

牛頓迭代法（Newton’s Method）又稱為牛頓-拉夫遜（拉弗森）方法（Newton-Raphson Method），它是牛頓在17世紀提出的一種在實數域和復數域上近似求解方程的方法。與一階方法相比，二階方法使用二階導數改進了優化，其中最廣泛使用的二階方法是牛頓法。

考慮無約束最優化問題：
$$\underset{\theta \in R^n}{\min }f(\theta )$$

其中${\theta }^{?}$為目標函數的極小點，假設$f(\theta )$具有二階連續偏導數，若第$k$次迭代值為${\theta }^{(k)}$，則可將$f(\theta )$在${\theta }^{(k)}$附近進行二階泰勒展開：
$$f(\theta )=f({\theta }^{(k)})+g_k^T(\theta ?{\theta }^{(k)})+\frac{1}{2}(\theta ?{\theta }^{(k)}{)}^{T}H({\theta }^{(k)})(\theta ?{\theta }^{(k)})$$

這里，$g_k=g({\theta }^{(k)})=?f({\theta }^{(k)})$是$f(\theta )$的梯度向量在點${\theta }^{(k)}$的值，$H({\theta }^{(k)})$是$f(\theta )$的Hessian矩陣：
$$H(\theta )=[\frac{{?}^{2}f}{?{\theta }_i?{\theta }_j}{]}_{m\times n}$$

在點${\theta }^{(k)}$的值。函數$f(\theta )$有極值的必要條件是在極值點處一階導數為0，即梯度向量為0，特別是當$H(\theta )$是正定矩陣時，函數$f(\theta )$的極值為極小值。牛頓法利用極小點的必要條件：
$$?f(\theta )=0$$

每次迭代中從點${\theta }^{(k)}$開始，求目標函數的極小點，作為第$k+1$次迭代值${\theta }^{(k+1)}$。具體地，假設${\theta }^{(k+1)}$滿足：
$$?f({\theta }^{(k+1)})=0$$

則有：
$$?f(\theta )=g_k+H_k(\theta ?{\theta }^{(k)})$$

其中$H_k=H({\theta }^{(k)})$。這樣，我們可以得：
$$g_k+H_k({\theta }^{(k+1)}?{\theta }^{(k)})=0$$

則：
$${\theta }^{(k+1)}={\theta }^{(k)}?H_k^{?1}{g}_k={\theta }^{(k)}+p_k$$

這就是牛頓迭代法。

牛頓迭代法
輸入：目標函數$f(\theta )$；Hessian矩陣$H(\theta )$；精度要求$?$
輸出：$f(\theta )$的極小值點${\theta }^{?}$
(1) 取初始點${\theta }^{(0)}$并置$k=0$
(2) 計算$g_k=g({\theta }^{(0)})=?f({\theta }^{(0)})$
(3) while$||g_k||>?$
(4) $H_k=H({\theta }^{(k)})$
(5) ${\theta }^{(k+1)}={\theta }^{(k)}?H_k^{?1}{g}_k$
(6) $g_k=g({\theta }^{(0)})=?f({\theta }^{(0)})$
(7) $k=k+1$
(8) return${\theta }^{?}={\theta }^{(k)}$

迭代過程可參考下圖：

在《優化技術：深度學習優化的挑戰-[高原、鞍點和其他平坦區域]》我們討論了牛頓法只適用于Hessian矩陣是正定的情況。在深度學習中，目標函數的表面通常非凸（有很多特征），如鞍點。因此使用牛頓法是有問題的。如果Hessian矩陣的特征值并不都是正的，例如，靠近鞍點處，牛頓法實際上會導致更新朝錯誤的方向移動。這種情況可以通過正則化Hessian矩陣來避免。常用的正則化策略包括在Hessian矩陣對角線上增加常數$\alpha$。正則化更新變為：
$${\theta }^{?}={\theta }_0?[H(f({\theta }_0))+\alpha I{]}^{?1}{?}_{\theta }f({\theta }_0)$$

這個正則化策略用于牛頓法的近似，例如Levenberg-Marquardt算，只要Hessian矩陣的負特征值仍然相對接近零，效果就會很好。在曲率方向更極端的情況下，$\alpha$的值必須足夠大，以抵消負特征值。然而，如果$\alpha$持續增加，Hessian矩陣會變得由對角矩陣$\alpha I$主導，通過牛頓法所選擇的方向會收斂到普通梯度除以$\alpha$。當很強的負曲率存在時，α可能需要特別大，以至于牛頓法比選擇合適學習率的梯度下降的步長更小。

除了目標函數的某些特征帶來的挑戰，如鞍點，牛頓法用于訓練大型神經網絡還受限于其顯著的計算負擔。Hessian矩陣中元素數目是參數數量的平方，因此，如果參數數目為$k$（甚至是在非常小的神經網絡中$k$也可能是百萬級別），牛頓法需要計算$k\times k$矩陣的逆，計算復雜度為$O(k^3)$。另外，由于參數將每次更新都會改變，每次訓練迭代都需要計算Hessian矩陣的逆。其結果是，只有參數很少的網絡才能在實際中用牛頓法訓練。在本節的剩余部分，我們將討論一些試圖保持牛頓法優點，同時避免計算障礙的替代算法。

總結

以上是生活随笔為你收集整理的机器学习中的数学——牛顿迭代法（Newton‘s Method）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。