數(shù)值計(jì)算之 線搜索法，Wolfe conditions

• 前言
• 梯度法的步長(zhǎng)
• 線搜索法
• 非精確線搜索法
• • Armijo條件
  • Wolfe條件
  • Goldstein條件
• 回溯法
• 后記

前言

本篇是基于梯度的優(yōu)化方法的補(bǔ)充篇

梯度法的步長(zhǎng)

梯度下降法、牛頓法、擬牛頓法的主要目的都是求出增量方向。求出增量方向后，如果使用固定步長(zhǎng)進(jìn)行更新，當(dāng)步長(zhǎng)太大導(dǎo)致優(yōu)化函數(shù)與其泰勒展開偏差太大時(shí)，可能出現(xiàn)優(yōu)化函數(shù)不降反增的情況，導(dǎo)致迭代不收斂。

因此在獲得增量方向后，還需要確定迭代的步長(zhǎng)。常用的方法是線搜索法。

線搜索法

線搜索法在求出優(yōu)化函數(shù)$f(\mathbf{x})$在${\mathbf{x}}_{\mathbf{k}}$的增量方向后，構(gòu)建以下問題：
$$\underset{\alpha }{\min }?(\alpha )=f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})$$

構(gòu)造的函數(shù)是一元函數(shù)，其極值點(diǎn)處的導(dǎo)數(shù)為零：
$${?}^{\prime }(\alpha )=?f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}=0$$
這樣就能獲得步長(zhǎng)的精確解，也就是所謂的精確線搜索方法。但是實(shí)際操作中，如果梯度沒有解析式，那么上面這個(gè)方程的解的計(jì)算是很困難的。

非精確線搜索法

非精確線搜索法不需要找到精確的步長(zhǎng)，而是希望找到一個(gè)能夠使優(yōu)化函數(shù)$f$穩(wěn)定收斂并且下降速度較快的步長(zhǎng)。此時(shí)的步長(zhǎng)$\alpha$通常存在于一個(gè)或數(shù)個(gè)區(qū)間內(nèi)。

Armijo條件

Armijo條件又被稱為充分下降條件，是使得$f$穩(wěn)定收斂的充分條件，也是最簡(jiǎn)單的條件。

如下圖所示，實(shí)線是函數(shù)$?(\alpha )=f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})$的圖像，虛線$l(\alpha )$表達(dá)式為：
$$\begin{gathered} {?}^{\prime }(\alpha )=?f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ l(\alpha )=?(0)+c_1{?}^{\prime }(0)(\mathbf{x}?{\mathbf{x}}_{\mathbf{k}}),0<c_1<1 \end{gathered}$$
由圖可以看出，當(dāng)實(shí)線在虛線下方時(shí)，$?(\alpha )\le ?(0)$，也就是函數(shù)必然下降。

這就是Armijo條件，用表達(dá)式來表示就是：
$$\begin{gathered} ?(\alpha )\le I(\alpha ) \\ \to f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha ?f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \end{gathered}$$

Wolfe條件

Armijo條件有一個(gè)問題：雖然能夠保證梯度下降，但是當(dāng)步長(zhǎng)$\alpha$極小的時(shí)候，必然能夠滿足Armijo條件，但是下降的速度很慢，而且超小的步長(zhǎng)可能導(dǎo)致迭代中的除零錯(cuò)誤（Nan）。我們需要保證迭代的每一步都有充分的下降。

如下圖所示，如果我們限制${?}^{\prime }(\alpha )\ge c_1{?}^{\prime }(0)$，也就是$?(\alpha )$的斜率不夠陡，達(dá)到相對(duì)平緩的區(qū)域，就形成了Curvature

將Armijo條件與Curvature條件合并，就是Wolfe條件，其表達(dá)式如下：
$$\begin{gathered} f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha ?f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ ?f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}\ge c_2?f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ 0<c_1<c_2<1 \end{gathered}$$
Wolfe條件如下圖所示：

Goldstein條件

Wolfe條件需要求優(yōu)化函數(shù)的梯度，比較麻煩。于是出現(xiàn)了只需要求優(yōu)化函數(shù)值的Goldstein條件：
$$\begin{gathered} f({\mathbf{x}}_{\mathbf{k}})+(1?c_1)\alpha ?f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}\le f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha ?f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ 0<c_1<0.5 \end{gathered}$$
Goldstein條件的左邊使得步長(zhǎng)不會(huì)太小，右邊保證梯度下降，但是可能出現(xiàn)找不到最優(yōu)步長(zhǎng)的情況，如下圖所示。

回溯法

由于Wolfe條件實(shí)現(xiàn)復(fù)雜，實(shí)際使用中，可以采用回溯法實(shí)現(xiàn)Armijo條件或者Goldstein條件，具體流程是：

選擇一個(gè)初始步長(zhǎng)${\alpha }_0$，和一個(gè)縮小系數(shù)$\rho <1$

把${\alpha }_0$代入Armijo條件或者Goldstein條件

如果滿足，則$\alpha ={\alpha }_0$，結(jié)束線搜索；否則，${\alpha }_0=\rho {\alpha }_0$，回到步驟2

當(dāng)初始${\alpha }_0$比較大時(shí)，回溯法搜索到的步長(zhǎng)就不會(huì)太小。

后記

下篇可能會(huì)繼續(xù)學(xué)習(xí)共軛梯度法。

總結(jié)

以上是生活随笔為你收集整理的数值计算之 线搜索法，Armijo，Wolfe，Goldstein条件，回溯法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。