????共軛梯度法不需要預先給定Q共軛方向，而是隨著迭代的進行不斷產生Q共軛方向。在每次的迭代中，利用上一個搜索方向和目標函數在當前迭代點的梯度向量 之間的線性組合構造一個新的方向，使其與前邊已經產生的搜索方向組成Q共軛方向。對于一個n維二次型函數，沿著Q共軛方向進行搜索，經過n次迭代，即可得到極小點。
    考慮二次型函數：
f(x)=12xTQx?xTb,x∈Rn
其中， Q=QT>0。初始點x(0)，搜索方向采用最速下降法的方向，即函數f在x(0)處梯度的負方向，即：

d(0)=?g(0)
產生下一個迭代點：
x(1)=x(0)+α0d(0)
其中，步長為：
α0=argminα≥0f(x(0)+α0d(0))=?g(0)Td(0)d(0)TQd(0)
再展開下一次迭代，搜索方向 d(0)和 d(1)應該是關于 Q共軛的。推廣開來，在 k+1詞迭代中：
d(k+1)=?g(k+1)+βkd(k),k=0,1,2…
按照如下方式選擇 βk, 可以使得 d(k+1)和 d(0),d(1),…,d(k)組成 Q共軛方向：
βk=g(k+1)TQd(k)d(k)TQd(k)

共軛梯度法的算法步驟可以歸納如下：

令 k=0,選擇初始值：x(0)

計算g(0)=?f(x(0)),如果g(0)=0，停止。否則：d(0)=?g(0).

計算αk=?g(k)Td(k)d(k)TQd(k)

計算 x(k+1)=x(k)+αkd(k)

計算g(k+1)=?f(x(k+1)),如果g(k+1)=0，停止。

計算βk=g(k+1)TQd(k)d(k)TQd(k)

計算d(k+1)=?g(k+1)+βkd(k)

令k=k+1，回到第3<script type="math/tex" id="MathJax-Element-10156">3</script>步。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的最优化学习笔记（十四）——共轭梯度法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。