????在最優(yōu)化學(xué)習(xí)系列中，第一次就說(shuō)的是牛頓法，但是那是在一維搜索上的，它其實(shí)就是將函數(shù)f在x處利用泰勒公式展開(kāi)，得到它的近似函數(shù)，進(jìn)而求解最小值。本節(jié)內(nèi)容主要說(shuō)明牛頓法在多維數(shù)據(jù)上的迭代公式。最優(yōu)化學(xué)習(xí)筆記中講到的最速下降法是一種速度比較快的優(yōu)化方法，但是最速下降法只用到了函數(shù)的一階導(dǎo)數(shù)，這種方法并不總是最高效的。而這里說(shuō)的牛頓法用到了二階導(dǎo)數(shù)，它的效率可能比最速下降法更優(yōu)。
????當(dāng)目標(biāo)函數(shù)f:Rn→R上二階連續(xù)可微時(shí)，將函數(shù)f在x(k)處進(jìn)行泰勒展開(kāi)，并且不考慮三階及以上的項(xiàng)，那么可得到函數(shù)f的二階近似項(xiàng)：
f(x)≈f(x(k))+(x?x(k))Tg(k)+12(x?x(k))TF(x(k))(x?x(k))=q(x)
其中，g(k)=?f(x(k)),F(x(k))是f(x(k))黑塞矩陣，將q應(yīng)用局部極小點(diǎn)的一屆必要條件：

0=?q(x)=g(k)+F(x(k))(x?x(k))
如果 F(x(k))>0, 則函數(shù) q的極小值點(diǎn)為：
x(k+1)=x(k)?F(x(k))?1g(k)

???? 需要說(shuō)明的是，在上述過(guò)程中，需要求解一個(gè)n<script type="math/tex" id="MathJax-Element-3483">n</script>維的線性齊次方程組，這對(duì)效率很有影響，應(yīng)該設(shè)計(jì)一個(gè)更為高效的方法。如果黑塞矩陣是非正定的，那么牛頓法也將存在問(wèn)題，后邊也將會(huì)針對(duì)問(wèn)題提出相應(yīng)的修正方法。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记(五)——牛顿法（多维数据）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。