目錄

• 線搜索
• • 非精確線搜索（Armijo條件，Wolfe條件，Goldstein條件）
  • • 強Wolfe條件線搜索算法

線搜索

對于迭代式$x_{k+1}=x_k+\alpha p_k$，其中$p_k$是由梯度法，牛頓法，CG法等方法計算出的下降方向，$\alpha$是下降的步長。

尋找最優值$\alpha =\underset{\alpha }{\min }f(x_k+\alpha p_k)$的過程稱為精確搜索

如果只是想找到一個$\alpha$使得$f(x_k+\alpha p_k)$相對于$f(x_k)$有足夠的下降，那么這樣的過程稱為非精確搜索

非精確線搜索（Armijo條件，Wolfe條件，Goldstein條件）

Armijo條件

要求$f(x_k+\alpha p_k)$相對于$f(x_k)$有足夠的下降，可以寫作：
$$f(x_k+\alpha p_k)\le f(x_k)+c_1\alpha ?f(x_k{)}^T{p}_k$$
因為$f(x_k{)}^T{p}_k<0$，所以要求$c_1>0$，但如果$c_1\ge 1$那么對于某些函數（例如強凸函數）就找不到滿足不等式的解。因此上式中$c_1\in (0,1)$。

記$?(\alpha )=f(x_k+\alpha p_k),l(\alpha )=f(x_k)+c_1\alpha ?f(x_k{)}^T{p}_k$，那么Armijo條件框定的范圍如下：

實際應用中，$c_1$一般取得很小，例如$c_1=10^{?4}$

---

curvature條件

從上圖不難發現只要$\alpha$足夠小就會滿足Armijo條件，但這樣會導致下降的量不夠大，為了避免$\alpha$取過小的值，又有了下面的的curvature條件：
$$?f(x_k+{\alpha }_k{p}_k{)}^T{p}_k\ge c_2?f(x_k{)}^T{p}_k$$
其中$c_2\in (c_1,1)$。

• 如果滿足上式，$?f(x_k+{\alpha }_k{p}_k{)}^T{p}_k$要么是輕微的負值（表明$x_k+{\alpha }_k{p}_k$已經趨于極小值附近），要么是正值（表明$x_k+{\alpha }_k{p}_k$已經越過了極小值），那么此時停止線搜索是合理的
• 如果不滿足上式，$?f(x_k+{\alpha }_k{p}_k{)}^T{p}_k$就是負得比較多的負值，那么說明在$p_k$方向$f$還有比較大的下降空間，可以繼續搜索更優的$\alpha$值

上式等價于${?}^{\prime }({\alpha }_k)\ge c_2{?}^{\prime }(0)$，因此curvature條件框住的范圍為：

由上圖可以看出curvature條件可以避開很小的$\alpha$。一般情況如果$p_k$是Newton或者quasi-Newton法求得的方向，那么$c_2=0.9$，如果$p_k$是非線性CG法求得的，那么$c_2=0.1$。

---

Wolfe條件，強Wolfe條件

Wolfe條件 = Armijo條件 + curvature條件
$$\begin{array}{rl}f(x_k+{\alpha }_k{p}_k)& \le f(x_k)+c_1{\alpha }_k?f(x_k{)}^T{p}_k\\ ?f(x_k+{\alpha }_k{p}_k{)}^T{p}_k& \ge c_2?f(x_k{)}^T{p}_k\end{array}$$
其中$0<c_1<c_2<1$

但Wolfe條件找到的$\alpha$有可能離極小值較遠，比如：

因此又提出了強Wolfe條件:
$$\begin{array}{rl}f(x_k+{\alpha }_k{p}_k)& \le f(x_k)+c_1{\alpha }_k?f(x_k{)}^T{p}_k\\ |?f(x_k+{\alpha }_k{p}_k{)}^T{p}_k|& \le c_2|?f(x_k{)}^T{p}_k|\end{array}$$
與Wolfe條件相比，強Wolfe條件不允許${?}^{\prime }({\alpha }_k)$正得太大，也就是不能越過極小值太遠。

(Wolfe條件存在性定理)假設$f:{\mathbb{R}}^n\to \mathbb{R}$連續可微，$p_k$是$x_k$處的下降方向，并且$f$在$\{x_k+\alpha p_k|\alpha >0\}$上有下界。如果$0<c_1<c_2<1$，那么存在一個步長區間即滿足Wolfe條件也滿足強Wolfe條件

Proof：因為$?(\alpha )=f(x_k+\alpha p_k)$有下界，而$l(\alpha )=f(x_k)+c_1\alpha ?f(x_k{)}^T{p}_k$是無界減函數，因此$l(\alpha )$和$?(\alpha )$一定有交點。記${\alpha }^{\prime }$為最小的交點，那么有：
$$f(x_k+{\alpha }^{\prime }{p}_k)=f(x_k)+c_1{\alpha }^{\prime }?f(x_k{)}^T{p}_k$$
并且對所有小于${\alpha }^{\prime }$的值，Armijo條件都成立。

又由中值定理，存在${\alpha }^{\prime \prime }\in (0,{\alpha }^{\prime })$使得：
$$f(x_k+{\alpha }^{\prime }{p}_k)?f(x_k)={\alpha }^{\prime }?f(x_k+{\alpha }^{\prime \prime }{p}_k{)}^T{p}_k$$
$$??f(x_k+{\alpha }^{\prime \prime }{p}_k{)}^T{p}_k=c_{1}f(x_k{)}^T{p}_k\ge c_{2}f(x_k{)}^T{p}_k$$
因此${\alpha }^{\prime \prime }$滿足Wolfe條件，又由f的連續可微性，${\alpha }^{\prime \prime }$的領域也滿足Wolfe條件，$c_{1}f(x_k{)}^T{p}_k$又是負值，因此該區間也滿足強Wolfe條件，得證。

---

Goldstein條件

Goldstein條件如下：
$$f(x_k)+(1?c){\alpha }_k?f(x_k{)}^T{p}_k\le f(x_k+{\alpha }_k{p}_k)\le f(x_k)+c{\alpha }_k?f(x_k{)}^T{p}_k$$
其中$0<c<1/2$

上式的右邊即為Armijo條件，而左邊是為了避免找到的$\alpha$太小：

但Goldstein條件的問題是它左邊的不等式有可能會將所有的極小值點排除在外。一般情況下Goldstein條件常用于Newton-type方法，但不適用于quasi-Newton方法

---

Backtracking線搜索

因為Wolfe條件的實現比較復雜，如果只是為了解決Armijo條件可能取值太小的問題，我們可以使用Backtracking線搜索：

只要初始的$\overline{\alpha }$取得足夠大，那么Backtracking線搜索方法就可以找到一個足夠大的滿足Armijo條件的$\alpha$。

---

強Wolfe條件線搜索算法

如果要使用Wolfe條件來搜索步長，[3]中提供了如下兩步式算法：

算法解釋如下：

如果$?({\alpha }_i)>?(0)+c_1{\alpha }_i{?}^{\prime }(0)$（即${\alpha }_i$不滿足Armijo條件）；或者$?({\alpha }_i)>?({\alpha }_{i?1})$；或者${?}^{\prime }({\alpha }_i)\ge 0$均說明${\alpha }_i$已經越過了極小值點$?(\alpha )$開始上升了，因此區間$({\alpha }_{i?1},{\alpha }_i)$包含了滿足強Wolfe條件的點，則轉入zoom算法在區間$({\alpha }_{i?1},{\alpha }_i)$中尋找符合條件的$\alpha$

如果$?({\alpha }_i)\le ?(0)+c_1{\alpha }_i{?}^{\prime }(0)$并且$|{?}^{\prime }({\alpha }_i)|\le ?c_2{?}^{\prime }(0)$，那么${\alpha }_i$即是滿足強Wolfe條件的步長，搜索停止

若上述都不符合，則迭代重復以上。一般這個位置會設置一個最大迭代次數，避免線搜尋陷在某一步一直出不來

---

Reference:

Numerical Optimization, Jorge Nocedal, Stephen J. Wright, 2006

總結

以上是生活随笔為你收集整理的Armijo条件，Wolfe条件，Goldstein条件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。