Armijo-Goldstein準則與Wolfe-Powell準則是不精確的一維搜索的兩大準則。

之所以要遵循這些準則是為了能使算法收斂（求最優(yōu)解）。即要使我們的不精確的一維搜索的步長滿足一定的規(guī)則，使之后的求最優(yōu)解的過程不至于因為步長過大或者過小而不收斂。

Armijo-Goldstein準則

Armijo-Goldstein準則的核心思想有兩個：①目標函數(shù)值應(yīng)該有足夠的下降；②一維搜索的步長α不應(yīng)該太小。

我們來看看Armijo-Goldstein準則的數(shù)學表達式：

其中， 0<ρ<12

1)為什么要規(guī)定 ρ∈(0,0.5) 這個條件？其實可以證明：如果沒有這個條件的話，將影響算法的超線性收斂性。具體的證明過程，大家可以參考袁亞湘寫的《最優(yōu)化理論與方法》一書，我沒有仔細看，我覺得對初學者，不用去管它。
(2)第1個不等式的左邊式子的泰勒展開式為：
f(x_k+α_kd_k)=f(x_k)+α_kg_k^Td_k+o(α_k)
去掉高階無窮小，剩下的部分為： f(x_k)+α_kg_k^Td_k
而第一個不等式右邊與之只差一個系數(shù) ρ
我們已知了 g_k^Td_k<0 （這是 d_k 為下降方向的充要條件），并且 ρ∈(0,0.5) ，因此，1式右邊仍然是一個比 f(x_k) 小的數(shù)，即：
f(x_k)+α_kρg_k^Td_k<f(x_k)
也就是說函數(shù)值是下降的（下降是最優(yōu)化的目標）。
(3)由于 ρ∈(0,0.5) 且 g_k^Td_k<0 （ d_k 是一個下降方向的充要條件），故第2個式子右邊比第1個式子右邊要小，即：
α_k(1?ρ)g_k^Td_k<α_kρg_k^Td_k<0
如果步長 α 太小的話，會導致這個不等式接近于不成立的邊緣。因此，式2就保證了 α 不能太小。

我還要把很多書中都用來描述Armijo-Goldstein準則的一幅圖搬出來說明一下

橫坐標是 α ，縱坐標是 f ，表示在 x_k,d_k 均為常量、 α 為自變量變化的情況下，目標函數(shù)值隨之變化的情況。
之所以說 x_k,d_k 均為常量，是因為在一維搜索中，在某一個確定的點 x_k 上，搜索方向 d_k 確定后，我們只需要找到一個合適的步長 α 就可以了。
當 x 為常量， α 為自變量時， f(x+αd) 可能是非線性函數(shù)（例如目標函數(shù)為 y=x2 時）。因此圖中是一條曲線。
右上角的 f(x_k+αd_k) 并不是表示一個特定點的值，而是表示這條曲線是以 α 為自變量、 x_k,d_k 為常量的函數(shù)圖形。
當 α=0 時，函數(shù)值為 f(x_k) ，如圖中左上方所示。水平的那條虛線是函數(shù)值為 f(x_k) 的基線，用于與其他函數(shù)值對比。
f(x_k)+α_kρg_k^Td_k 那條線在 f(x_k) 下方（前面已經(jīng)分析過了，因為 g_k^Tdk<0 ）， f(x_k)+α_k(1?ρ)g_k^Td_k 又在 f(x_k)+α_kρg_k^Td_k 的下方（前面也已經(jīng)分析過了），所以Armijo-Goldstein準則可能會把極小值點（可接受的區(qū)間）判斷在區(qū)間bc內(nèi)。顯而易見，區(qū)間bc是有可能把極小值排除在外的（極小值在區(qū)間ed內(nèi)）。
所以，為了解決這個問題，Wolfe-Powell準則應(yīng)運而生。

Wolfe-Powell準則

Wolfe-Powell準則也有兩個數(shù)學表達式，其中，第一個表達式與Armijo-Goldstein準則的第1個式子相同，第二個表達式為

這個式子已經(jīng)不是關(guān)于函數(shù)值的了，而是關(guān)于梯度的。
此式的幾何解釋為：可接受點處的切線斜率≥初始斜率的 σ 倍。
上面的圖已經(jīng)標出了 σg^T_kd_k 那條線（即 e 點處的切線），而初始點（ α=0 的點）處的切線是比 e 點處的切線要“斜”的，由于 σ∈(ρ,1) ，使得 e 點處的切線變得“不那么斜”了——不知道這種極為通俗而不夠嚴謹?shù)恼f法，是否有助于你理解。
這樣做的結(jié)果就是，我們將極小值包含在了可接受的區(qū)間內(nèi)（ e 點右邊的區(qū)間）。

Wolfe-Powell準則到這里還沒有結(jié)束！在某些書中，你會看到用另一個所謂的“更強的條件”來代替(3)式，即：

這個式子和(3)式相比，就是左邊加了一個絕對值符號，右邊換了一下正負號（因為 g^T_kdk<0 ，所以 ?σg^T_kd_k>0 ）。
這樣做的結(jié)果就是：可接受的區(qū)間被限制在了 [b,d] 內(nèi)，如圖：

圖中紅線即為極小值被“夾擊”的生動演示。

---

轉(zhuǎn)自?? https://www.codelast.com/

轉(zhuǎn)載于:https://www.cnblogs.com/yifdu25/p/8093725.html

總結(jié)

以上是生活随笔為你收集整理的Armijo-Goldstein准则与Wolfe-Powell准则的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。