共軛梯度法的粗淺理解

• 共軛梯度法
• • 最速下降法
  • 共軛方向法
  • 共軛格萊姆——施密特正交化
  • 共軛梯度法

共軛梯度法

共軛梯度法是一種迭代優化方法，用來解決$Ax=b$方程問題，要求$A$對稱正定。具體來說，先構造一個二次型$f(x)=\frac{1}{2}{x}^{T}Ax?b^{T}x$，利用$f^{\prime }(x)=Ax?b$的特點，將解方程問題轉化為求函數$f(x)$的最值問題，由于$A$對稱正定，所以最小值$f(x^{?})$必然存在且唯一。

最速下降法

最速下降法以當前迭代位置的負梯度方向作為下一步迭代方向，使用線搜索確定最優步長，對于目前的迭代位置$x_i$，其負梯度方向為$r_i=b?A{x}_i$,最速下降法是一種貪心算法，要求在每一步迭代中都走到最小值點。
設朝$r_i$方向走的步長為${\alpha }_i$,我們要求$f(x_{i+1})=f(x_i+{\alpha }_i{r}_i)$最小，這里的唯一變量是${\alpha }_i$,所以這是一個求駐點的問題：$$\frac{?f}{?{\alpha }_i}=\frac{?f}{?x_{i+1}}\frac{?x_{i+1}}{?{\alpha }_i}=\frac{?f}{?x_{i+1}}{r}_i=r_{i+1}^T{r}_i=0$$這個式子說明本次迭代的方向與下一次迭代的負梯度方向是正交的，注意這里與$r_i$無關，只要使用線搜索，無論朝什么方向，這個方向都與$x_{i+1}$的負梯度方向正交，這是最速下降法的一個特點。
然后來求步長${\alpha }_i$:$$\begin{array}{rl}{r}_{i+1}^T{r}_i=& (b?A{x}_{i+1}{)}^T{r}_i\\ =& [b?A(x_i+{\alpha }_i{r}_i){]}^T{r}_i\\ =& (r_i?{\alpha }_{i}A{r}_i{)}^T{r}_i\\ =& 0\end{array}$$ $${\alpha }_i=\frac{r_i^T{r}_i}{r_i^{T}A{r}_i}$$步長求出之后，給定一個初始點$x_0$，根據求方向——求步長——更新$x_i$直到$r_i$為0或小于某一閾值停止。

共軛方向法

由于最速下降法的特點，相鄰的兩次迭代方向是相互正交的，即迭代路徑經常會呈現$Z$字形，自然可以想到在每個維度上的坐標值可能會來回晃動，可以看做由于貪心算法，下一次迭代可能會把上一次迭代所做出的貢獻給抹消一部分。共軛方向法有這樣的特點，每次迭代都會在這個方向走到極致，使這個方向沒有再優化的可能了，而之后的迭代不會對這個方向帶來影響，所以在$R^n$空間中，共軛方向法最多只需要$n$次迭代就可以找到最優值$x^{?}$。

選擇一個初始點$x_0$，這點到最優點$x^{?}$的誤差$e_0=x^{?}?x_0$,誤差既然是$R^n$空間中的向量，它就可以寫成$n$個$n$維線性無關向量$d_0......d_{n?1}$的加權和：$$e_0=\sum _{i=0}^{n?1}{\delta }_i{d}_i$$可以看出，沿著$d_0......d_{n?1}$分別走${\delta }_0......{\delta }_{n?1}$就可以找到最優值，找到$n$個線性無關的向量不難，關鍵在于找到后如何計算每個方向的步長，顯然方向的選取也很講究，必須容易計算步長。

在最速下降法中，使用線搜索可以很方便地找到方向和步長，假設第$i$次迭代方向是$d_i$，那么下一次的迭代方向$d_{i+1}=r_{i+1}$且$$d_i^T{r}_{i+1}=0$$誤差與負梯度之間的關系是：$$r_i=A{e}_i$$代入得到：$$d_i^{T}A{e}_i=0$$ $$d_i^{T}A\sum _{k=i}^{n?1}{\delta }_k{d}_k=0$$所以我們給這些方向$d$加的條件是$A?$正交，也叫共軛：$$d_i^{T}A{d}_j=0$$滿足這個條件的一組方向就可以用線搜索的方式確定步長，驗證一下：

對$$e_0=\sum _{i=0}^{n?1}{\delta }_i{d}_i$$兩邊左乘$d_j^{T}A$:$$d_j^{T}A{e}_0=\sum _{i=0}^{n?1}{\delta }_i{d}_j^{T}A{d}_i$$ $$d_j^{T}A{e}_0={\delta }_j{d}_j^{T}A{d}_j$$ $${\delta }_j=\frac{d_j^{T}A{e}_0}{d_j^{T}A{d}_j}$$ $${\delta }_j=\frac{d_j^T{r}_j}{d_j^{T}A{d}_j}$$正好與上面線搜索的步長公式吻合，表示這么做可行。

上面的推導說明了一組滿足兩兩共軛的向量組可以用線搜索來確定步長，接下來就是如何找到一組兩兩共軛的向量組的問題。

共軛格萊姆——施密特正交化

這里就不詳細寫了，線性代數中的格萊姆——施密特正交化過程是由一組線性無關的向量組$u_1......u_n$得到一組兩兩正交的向量組$d_1......d_n$的過程:$$d_1=u_1$$ $$d_i=u_i?\sum _{j=1}^{i?1}(u_i,d_j)\frac{d_j}{||d_j||}$$共軛的版本只是把上式中的正交換成了$A?$正交，如此就可以用任一組線性無關的向量生成一組共軛向量進行求解：$$d_i=u_i?\sum _{j=1}^{i?1}\frac{u_i^{T}A{d}_j}{d_j^{T}A{d}_j}{d}_j$$

共軛格萊姆——施密特正交化有計算復雜的缺點，計算$d_i$時需要計算之前所有的共軛向量$d_1......d_{i?1}$與矩陣A的乘法，一般很難進行，所以就有了共軛梯度法，注意這個名字并不是指梯度是共軛的，而是使用梯度信息來獲取共軛向量組的方法。

共軛梯度法

共軛梯度法的一組共軛向量指的是負梯度構造的共軛向量：$$d_i=r_i?\sum _{j=1}^{i?1}\frac{r_i^{T}A{d}_j}{d_j^{T}A{d}_j}{d}_j$$ 令${\beta }_{ij}=\frac{r_i^{T}A{d}_j}{d_j^{T}A{d}_j}$，這樣做的好處是每次構造共軛向量$d_i$時，只需要計算${\beta }_{i,i?1}$即可：$$r_{j+1}=r_j?{\alpha }_{j}A{d}_j$$ 兩邊同時左乘$r_i$:$$r_i^T{r}_{j+1}=r_i^T{r}_j?{\alpha }_j{r}_i^{T}A{d}_j$$ $$r_i^{T}A{d}_j=?\frac{1}{{\alpha }_j}{r}_i^T{r}_{j+1}$$ 不難看出$r_i^T{r}_{j+1}$只有在$i=j+1$時不為0，將上式帶入到${\beta }_{ij}$中可以得到只有在$j=i?1$時${\beta }_{ij}=0$，因此只需要計算一輪矩陣向量乘法，減少了計算量。

總結

以上是生活随笔為你收集整理的共轭梯度法粗浅理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。