????由上節(jié)我們得出的一個(gè)引理：
引理 在共軛方向算法中， 對(duì)于所有的k,0≤k≤n?1,0≤i≤k都有 :

g(k+1)Td(i)=0
由上可知： g(k+1)正交于由向量 d(0),d(1),…,d(k)張成的子空間中的任意向量。該引理可用于證明共軛方向法的一個(gè)很有意思的最優(yōu)性性質(zhì)。可以證明 f(x(k+1))不僅能夠滿足 f(x(k+1))=minαf(x(k)+αd(k)),而且還能滿足
f(x(k+1))=minα0,α1,…,αkf(x(0)+∑i=0kαid(i))

換言之，如果記：

νk=x(0)+span[d(0),d(1),…,d(k)]
則有 f(x(k+1))=minx∈νkf(x).隨著 k的增大，子空間span[d(0),d(1),…,d(k)]不斷擴(kuò)張，直至充滿整個(gè) Rn(前提是它們是線性無(wú)關(guān)的)。因此,當(dāng) k足夠大時(shí)，x?將位于 νk中。基于此，以上結(jié)論有時(shí)也稱為擴(kuò)張子空間定理。

????定義矩陣D(k)為：

D(k)=[d(0),d(1),…,d(k)]
其中， d(i)為矩陣 D(k)的第 i列。注意， x(0)+R(D(k))=νk,同時(shí)，
x(k+1)=x(0)+∑i=0kαid(i)=x(0)+D(k)α
其中， α=[α0,α1,…,αk]T. 因此，
x(k+1)∈x(0)+R(D(k))=νk
對(duì)于任意向量 x∈νk, 存在一個(gè)向量 a,使得 x=x(0)+D(k)a.令 ?k(a)=f(x(0)+D(k)a)可知 ?k(a)是一個(gè)二次型函數(shù)，具有唯一的極小點(diǎn)。由鏈?zhǔn)椒▌t可得：
D?k(a)=?f(x(0)+D(k)a)D(k)
帶入 α可得：
D?k(α)=?f(x(0)+D(k)α)TD(k)=?f(x(k+1))TD(k)=g(k+1)TD(k)
由定理可知， g(k+1)TD(k)=0T. 因此， α能夠滿足函數(shù) ?k的局部極小點(diǎn)的一階必要條件，是 ?k的極小點(diǎn)，即：
f(x(k+1))=minaf(x(0)+D(k)a)=minx∈νkf(x)
擴(kuò)張子空間定理證明完成。
????共軛方向法的計(jì)算效率很高，但是，前提是必須能夠給定一組 Q共軛方向。幸運(yùn)的是，存在一種方法，能夠隨著迭代進(jìn)行， 逐一產(chǎn)生 Q共軛方向,無(wú)需提前指定。

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记（十三）——基本共轭方向算法（扩张子空间定理）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。