????在最優(yōu)化學(xué)習(xí)系列中，第一次就說的是牛頓法，但是那是在一維搜索上的，它其實就是將函數(shù)f在x處利用泰勒公式展開，得到它的近似函數(shù)，進而求解最小值。本節(jié)內(nèi)容主要說明牛頓法在多維數(shù)據(jù)上的迭代公式。最優(yōu)化學(xué)習(xí)筆記中講到的最速下降法是一種速度比較快的優(yōu)化方法，但是最速下降法只用到了函數(shù)的一階導(dǎo)數(shù)，這種方法并不總是最高效的。而這里說的牛頓法用到了二階導(dǎo)數(shù)，它的效率可能比最速下降法更優(yōu)。
????當(dāng)目標函數(shù)f:Rn→R上二階連續(xù)可微時，將函數(shù)f在x(k)處進行泰勒展開，并且不考慮三階及以上的項，那么可得到函數(shù)f的二階近似項：
f(x)≈f(x(k))+(x?x(k))Tg(k)+12(x?x(k))TF(x(k))(x?x(k))=q(x)
其中，g(k)=?f(x(k)),F(x(k))是f(x(k))黑塞矩陣，將q應(yīng)用局部極小點的一屆必要條件：

0=?q(x)=g(k)+F(x(k))(x?x(k))
如果 F(x(k))>0, 則函數(shù) q的極小值點為：
x(k+1)=x(k)?F(x(k))?1g(k)

???? 需要說明的是，在上述過程中，需要求解一個n<script type="math/tex" id="MathJax-Element-3483">n</script>維的線性齊次方程組，這對效率很有影響，應(yīng)該設(shè)計一個更為高效的方法。如果黑塞矩陣是非正定的，那么牛頓法也將存在問題，后邊也將會針對問題提出相應(yīng)的修正方法。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记(五)——牛顿法（多维数据）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。