最优化学习笔记(五)——牛顿法(多维数据)
????在最優(yōu)化學(xué)習(xí)系列中,第一次就說的是牛頓法,但是那是在一維搜索上的,它其實就是將函數(shù)f在x處利用泰勒公式展開,得到它的近似函數(shù),進而求解最小值。本節(jié)內(nèi)容主要說明牛頓法在多維數(shù)據(jù)上的迭代公式。最優(yōu)化學(xué)習(xí)筆記中講到的最速下降法是一種速度比較快的優(yōu)化方法,但是最速下降法只用到了函數(shù)的一階導(dǎo)數(shù),這種方法并不總是最高效的。而這里說的牛頓法用到了二階導(dǎo)數(shù),它的效率可能比最速下降法更優(yōu)。
????當(dāng)目標函數(shù)f:Rn→R上二階連續(xù)可微時,將函數(shù)f在x(k)處進行泰勒展開,并且不考慮三階及以上的項,那么可得到函數(shù)f的二階近似項:
f(x)≈f(x(k))+(x?x(k))Tg(k)+12(x?x(k))TF(x(k))(x?x(k))=q(x)
其中,g(k)=?f(x(k)),F(x(k))是f(x(k))黑塞矩陣,將q應(yīng)用局部極小點的一屆必要條件:
如果 F(x(k))>0, 則函數(shù) q的極小值點為:
x(k+1)=x(k)?F(x(k))?1g(k)
???? 需要說明的是,在上述過程中,需要求解一個n<script type="math/tex" id="MathJax-Element-3483">n</script>維的線性齊次方程組,這對效率很有影響,應(yīng)該設(shè)計一個更為高效的方法。如果黑塞矩陣是非正定的,那么牛頓法也將存在問題,后邊也將會針對問題提出相應(yīng)的修正方法。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯,堅持創(chuàng)作打卡瓜分現(xiàn)金大獎總結(jié)
以上是生活随笔為你收集整理的最优化学习笔记(五)——牛顿法(多维数据)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: STM32开发 -- 信号强度CSQ
- 下一篇: STM32开发 -- 低功耗模式详解(1