一、一維搜索方法

討論目標函數為一元單值函數f:R→R時的最優化問題的迭代求解方法。

二、局部極小點的條件

n元實值函數f的一階導數Df為：

Df?[?f?x1,?f?x2,…,?f?xn]

函數f的梯度是Df的轉置：?f=(Df)T, 順便說一句，f 的二階導數是黑塞矩陣。

下面只給出局部極小點位于約束集內部時的一階必要條件。多元實值函數f在約束集Ω上一階連續可微，約束集Ω是Rn的子集。如果x?是函數f在Ω上的局部極小點，且是Ω的內點，則有

?f(x?)=0
成立。

三、牛頓法

考慮一元單值函數在區間上求極小值的問題，此處假設函數連續二階可微。下面構造一個經過點(x(k),f(x(k)))二次函數,該函數在x(k)的一階和二階導數分別為f′(x(k)),f′′(x(k)).那么，構造的函數如下：

q(x)=f(x(k))+f′(x(k))(x?x(k))+12f′′(x(k))(x?x(k))2
則有
q(x(k))=f(x(k))(1)q′(x(k))=f′(x(k))(2)q′′(x(k))=f′′(x(k))(3)
q(x)可以認為是 f(x)的近似。因此，求函數 f的極小值點近似于求解q的極小值點，函數 q應該滿足一階必要條件：
0=q′(x)=f′(x(k))+f′′(x(k))(x?x(k))
令 x=x(k+1),可得：
x(k+1)=x(k)?f′(x(k))f′′(x(k))
上式即為牛頓法的迭代公式，當 f′′(x)>0時，對于區間內的 x都成立，牛頓法正常，反之當f′′(x)<0時，牛頓法可能收斂到極大值點。

后續將牛頓法擴展到目標函數為f:Rn→R上。

總結

以上是生活随笔為你收集整理的最优化学习笔记（一）——牛顿法(一维搜索方法)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。