共軛梯度法

最速下降法以及牛頓法都具有其自身的局限性。本文將要介紹的共軛梯度法是介于最速下降法與牛頓法之間的一種無約束優化算法，它具有超線性的收斂速度，而且算法結構簡單，容易編程實現。此外，根最速下降法相類似，共軛梯度法只用到了目標函數及其梯度值，避免了二階導數的計算，從而降低了計算量和存儲量，因此它是求解無約束優化問題的一種比較有效而使用的算法。

一、共軛方向發
共軛方向法的基本思想是在求解$n$維正定二次目標函數極小點時產生一組共軛方向作為搜索方向，在線搜索條件下算法之多迭代$n$步即能求得極小點。京故宮適當修正后共軛方向法可以推廣到求解一般非二次目標函數情形。下面先介紹共軛方向的概念。
定義1：設$G$是$n$階對稱正定矩陣，若$n$維向量組$d_1,d_2,?,d_m(m\le n)滿足$$d_i^{T}G{d}_j=0,i=j$，則乘$d_1,d_2,?,d_m$是$G$共軛的。
顯然，向量組的共軛是正交的推廣，即當$G=I$（單位陣）時，上述定義變成了向量組正交的定義。此外，不難證明，對稱正定矩陣$G$的共軛向量組必然是線性無關的。
下面我們考慮求解正定二次目標函數極小點的共軛方向法。設
$$\min f(x)=\frac{1}{2}{x}^{T}Gx+b^{T}x+c\text{\hspace{1em}(1)}$$
其中$G$是$n$階對稱正定陣，$b$為$n$為常向量，$c$為常數。我們有下面的算法：

---

算法1：共軛方向法
0. 給定迭代精度$0\le ?\le 1$和初始點$x_0$。計算$g_0=?f(x_0)$。選取初始方向$d_0$使得$d_0^T{g}_0<0$。令$k=0$.

若$||g_k||\le ?$，停算，輸出$x^{?}\approx x_k$.

利用線搜索方法確定步長${\alpha }_k$

令$x_{k+1}=x_k+{\alpha }_k{d}_k$，并計算$g_{k+1}=?f(x_{k+1})$.

選取$d_{k+1}$滿足下降性和共軛性條件：$d_{k+1}^T{g}_{k+1}<0,d_{k+1}^{T}G{d}_i=0,,i=0,1,?,k$.

令$k=k+1$，轉步1

---

該算法的收斂性證明略過，如果感興趣，可以去查找相應的數值優化專著。這里直接給出結論，在精確線搜索下，算法1求解正定二次目標函數極小化問題，之多在$n$步內即可求得其唯一極小點。這種能在有限步內求得二次函數極小點的性質通常稱為二次終止性。

二、共軛梯度法
共軛梯度法是在每一步迭代利用當前點處的最速下降方向來生成關于凸二次函數$f$的海塞陣$G$的共軛方向，并建立求$f$在${\mathbb{R}}^n$上的極小點的方法。這一方法最早是由Hesteness和Stiefel于1952年為求解正定線性方程組而提出來的，后經Fletcher等人研究并應用于無約束優化問題取得了豐富的成果，共軛梯度法也因此成為當前求解無約束優化問題的重要算法類。
設函數如（1）式所定義，則$f$的梯度和海塞矩陣為
$$g(x)=?f(x)=Gx+b,G(x)={?}^{2}f(x)=G\text{\hspace{1em}(2)}$$
下面我們討論算法（1）中共軛方向的構造。我們取初始方向$d_0$為初始點$x_0$處的負梯度方向，即
$$d_0=??f(x_0)=?g_0\text{\hspace{1em}(3)}$$
從$x_0$出發沿$d_0$方向進行線搜索得到步長${\alpha }_0$，令
$$x_1=x_0+{\alpha }_0{d}_0$$
其中${\alpha }_0$滿足條件
$$?f(x_1{)}^T{d}_0=g_1^T{d}_0\text{\hspace{1em}(4)}$$
在$x_1$處，用$f$在$x_1$的負梯度方向$?g_1$與$d_0$的組合來生成$d_1$，即
$$d_1=?g_1+{\beta }_0{d}_0\text{\hspace{1em}(5)}$$
然后選取系數${\beta }_0$使$d_1$與$d_0$關于G共軛，即令
$$d_1^{T}G{d}_0=0\text{\hspace{1em}(6)}$$
來確定${\beta }_0$，將（6）代入（5）得
$${\beta }_0=\frac{g_1^{T}G{d}_0}{d_0^{T}G{d}_0}\text{\hspace{1em}(7)}$$
由（2）得
$$g_1?g_0=G(x_1?x_0)={\alpha }_{0}G{d}_0\text{\hspace{1em}(8)}$$
故由（3）~（5）可得
$$g_2^T{g}_0=0,g_2^T{g}_1=0,d_0^T{g}_0=?g_0^T{g}_0,d_1^T{g}_1=?g_1^T{g}_1$$
現假設已得到互相共軛得搜索方向$d_1,d_2,?,d_{k?1}$，精確線搜索得到得步長為${\alpha }_0,{\alpha }_1,?,{\alpha }_{k?1}$，且滿足
$$?\begin{array}{rc}{d}_{k?1}^{T}G{d}_i=0,& i=0,1,?,k?2,\\ d_i^T{g}_i=?g_i^T{g}_i,& i=0,1,?,k?1,\\ g_k^T{g}_i=0,g_k^T{d}_i=0,& i=0,1,?,k?1.\end{array}\text{\hspace{1em}(9)}$$
現令
$$d_k=?g_k+{\beta }_{k?1}{d}_{k?1}+\sum _{i=0}^{k?1}{\beta }_k^{(i)}{d}_i\text{\hspace{1em}(10)}$$
其中${\beta }_{k?1},{\beta }_k^{(i)}(i=0,1,?,k?2)$得選擇要滿足
$$d_k^{T}G{d}_i=0,i=0,1,?,k?1\text{\hspace{1em}(11)}$$
用$d_i^{T}G(i=0,1,?,k?1)$左乘（10）得
$${\beta }_{k?1}=\frac{g_k^{T}G{d}_{k?1}}{d_{k?1}^{T}G{d}_{k?1}},{\beta }_k^{(1)}=\frac{g_k^{T}G{d}_i}{d_i^{T}G{d}_i},i=0,1,?,k?2\text{\hspace{1em}(12)}$$
類似于（8），我們有
$$g_{i+1}?g_i=G(x_{i+1}?x_i)={\alpha }_{i}G{d}_i,i=0,1,?,k?1$$
及
$${\alpha }_{i}G{d}_i=g_{i+1}?g_i,i=0,1,?,k?1\text{\hspace{1em}(13)}$$
于是由歸納法假設（9）可得
$${\beta }_k^{(i)}=\frac{g_k^{T}G{d}_i}{d_i^{T}G{d}_i}=\frac{g_k^T(g_{i+1}?g_i)}{d_i^T(g_{i+1}?g_i)}=0,i=0,1,?,k?2.$$
于是，第k步得搜索方向為
$$d_k=?g_k+{\beta }_{k?1}{d}_{k?1},\text{\hspace{1em}(14)}$$
其中${\beta }_{k?1}$由（12）確定，即
$${\beta }_{k?1}=\frac{g_k^{T}G{d}_{k?1}}{d_{k?1}^{T}G{d}_{k?1}}\text{\hspace{1em}(15)}$$
同時有$d_k^T{g}_k=?g_k^T{g}_k$。這樣確定了一組由負梯度方向形成得共軛方向，而把沿著這組方向進行迭代得方向稱為共軛梯度法。其證明過程這里略過。
下面我們給出共軛梯度法求解無約束優化問題（1）極小點得算法步驟

---

算法2：共軛梯度法
0. 給定迭代精度$0\le ?<1$和初始點$x_0$。計算$g_0=?f(x_0)$。令$k=0$

若$||g_k||\le ?$，停算，輸出$x^{)}\approx x_k$

計算搜索方向$d_k$:
KaTeX parse error: Unknown column alignment: s at position 29: …\begin{array}{ls?c} -g_k,&k=0,\\…
其中當$k\ge 1$時，${\beta }_{k?1}$由（15）確定

利用線搜索方法確定搜索步長${\alpha }_k$

令$x_{k+1}=x_k+{\alpha }_k{d}_k$，并計算$g_{k+1}=?f(x_{k+1})$

令$k=k+1$，轉步1

---

計算公式（15）是由Fletcher和Reeves給出得，故稱之為FR公式，算法2也稱之為FR共軛梯度法。除FR工詩外，尚有下列著名公式：
$$\begin{array}{rl}{\beta }_k& =\frac{g_{k+1}^T{g}_{k+1}}{?d_k^T{g}_k},(Dixon公式)\\ {\beta }_k& =\frac{g_{k+1}^T{g}_{k+1}}{d_k^T(g_{k+1}?g_k)},(Dai?Yuan公式)\\ {\beta }_k& =\frac{g_{k+1}^T(g_{k+1}?g_k)}{d_k^T(g_{k+1}?g_k)},(Crowder?Wolfe公式)\\ {\beta }_k& =\frac{g_{k+1}^T(g_{k+1}?g_k)}{g_k^T{g}_k},(Polak,Ribiere,Ployak,PRP公式)\end{array}$$

三、共軛梯度法得matlab實現
在共軛梯度法得實際使用中，通常在迭代n步或n+1步之后，重新選取負梯度方向作為搜索方向，我們稱之為再開始共軛梯度法。這是因為對于一般非二次函數而言，n步迭代后共軛梯度法產生得搜索方向往往不再具有共軛性。而對于大規模問題，常常每$m(m<n或m?n)$步就進行再開始。此外，當搜索方向不是下降方向時，也插入負梯度方向所作為搜索方向。
這里給出基于Armijo-rule非精確線搜索得再開始FR共軛梯度法得matlab程序。

function [fmin, xmin] = frcg(fun, gfun, x0, epsilon)maxk = 5000; rho = 0.6; sigma = 0.4; k = 0; n = length(x0);while k < maxkg = feval(gfun, x0);itern = k - (n+1) * floor(k / (n + 1));itern = itern + 1;if (itern == 1)d = -g;elsebeta = (g' * g) / (g0' * g0);d = -g + beta * d0; gd = g' * d;if (gd >= 0.0)d = -g;endendif (norm(g) < epsilon), break; endm = 0; mk = 0;while (m < 20) % armijo-rule if (feval(fun, x0 + rho^m*d) < feval(fun, x0) + sigma * rho^m*g'*d)mk = m; break;endm = m + 1;endx0 = x0 + rho^mk*d;val = feval(fun, x0);fprintf('kIter = %d, fmin = %f\n', k, val);g0 = g; d0 = d;k = k+1;endx = x0;val = feval(fun, x);xmin = x;fmin = val;end

利用程序求解無約束優化問題
$$\underset{x\in {\mathbb{R}}^2}{\min }f(x)=100(x_1^2?x_2{)}^2+(x_1?1{)}^2$$
該問題由精確解$x^{?}=(1,1{)}^T,f(x^{?})=0$

求解main函數

x0 = [0, 0]'; epsilon = 1e-4;[fmin, xmin] = frcg('func', 'gfunc', x0, epsilon); fprintf('frcg: fmin = %f, xmin = (%f, %f)\n', fmin, xmin(1), xmin(2));[x, f] = fminsearch('func', x0); fprintf('build-in search: fmin = %f, xmin = (%f, %f)\n', f, x(1), x(2));

函數定義以及梯度求解

function f = func(x)f = 100 * (x(1)^2 - x(2))^2 + (x(1) - 1)^2;end function grad = gfunc(x)grad = [400 * x(1) * (x(1)^2-x(2))+2*(x(1)-1); ...-200 * (x(1)^2-x(2))];end

求解結果為：

frcg: fmin = 0.000000, xmin = (0.999921, 0.999841) build-in search: fmin = 0.000000, xmin = (1.000004, 1.000011)

總結

以上是生活随笔為你收集整理的共轭梯度法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。