文章目錄

• 一、前言
• 二、Goldstein準(zhǔn)則
• • 1. 定義
  • 2. 幾何含義
• 三、代碼實(shí)現(xiàn)
• 四、與Armjio準(zhǔn)則的對(duì)比
• 五、總結(jié)

---

一、前言

為了克服 Armijo 準(zhǔn)則的缺陷，我們需要引入其他準(zhǔn)則來(lái)保證每一步的 ${\alpha }^k$ 不會(huì)太小。

既然 Armijo 準(zhǔn)則只要求點(diǎn) $(\alpha ,?(\alpha ))$ 必須處在某直線下方，我們也可使用相同的形式使得該點(diǎn)必須處在另一條直線的上方。

這就是 Armijo-Goldstein 準(zhǔn)則，簡(jiǎn)稱 Goldstein 準(zhǔn)則。

---

二、Goldstein準(zhǔn)則

1. 定義

設(shè) $d^k$ 是點(diǎn) $x^k$ 處的下降方向，若

$$\begin{array}{rl}& f(x^k+\alpha d^k)\le f(x^k)+c\alpha ?f(x^k{)}^T{d}^k,\\ & f(x^k+\alpha d^k)\ge f(x^k)+(1?c)\alpha ?f(x^k{)}^T{d}^k\end{array}$$

則稱步長(zhǎng) $\alpha$ 滿足 Goldstein 準(zhǔn)則，其中 $c\in (0,\frac{1}{2})$。

2. 幾何含義

與 Armjio 準(zhǔn)則相類似，Goldstein 準(zhǔn)則也有非常直觀的幾何含義，它指的是點(diǎn) $(\alpha ,?(\alpha ))$ 必須在兩條直線

$$\begin{array}{rl}& l_1(\alpha )=?(0)+c\alpha ?f(x^k{)}^T{d}^k,\\ & l_2(\alpha )=?(0)+(1?c)\alpha ?f(x^k{)}^T{d}^k\end{array}$$

之間。如下圖所示：

區(qū)間 $[{\alpha }_1,{\alpha }_2]$ 中的點(diǎn)均滿足 Goldstein 準(zhǔn)則，同時(shí)我們也注意到 Goldstein 準(zhǔn)則確實(shí)去掉了過(guò)小的 $\alpha$。

---

三、代碼實(shí)現(xiàn)

MATLAB 代碼如下：

function [alpha, xk, f, k] = Goldstein(fun, grid, x0, dk)%% Function [alpha, xk, fx, k] = Goldstein(fun, grid, x0, dk)% 求出函數(shù)fun在x0處以dk為下降方向時(shí)的步長(zhǎng)alpha，同時(shí)返回相對(duì)應(yīng)的下% 一個(gè)下降點(diǎn)xk以及xk處的函數(shù)值fx，k為迭代次數(shù)% -----------------------------------------------------------% 輸入: % fun 函數(shù)名稱(字符變量）% grid 梯度函數(shù)名稱(字符變量)% x0 迭代點(diǎn)(列向量)% dk 函數(shù)在迭代點(diǎn)處的下降方向(列向量)%% 輸出:% alpha 函數(shù)在x0處以dk為下降方向時(shí)的下降步長(zhǎng)% xk 函數(shù)在x0處以dk為下降方向，以alpha為步長(zhǎng)% 求得的下降點(diǎn)% f 函數(shù)在下降點(diǎn)xk處的函數(shù)值% k 求步長(zhǎng)算法迭代次數(shù)% -----------------------------------------------------------% by Zhi Qiangfeng %c = 0.3; % 泰勒展開(kāi)式補(bǔ)足系數(shù)，0 < c < 1/2alpha = 1; % 初始步長(zhǎng)為 1k = 0; % 統(tǒng)計(jì)迭代次數(shù)a = 0; b = inf; % 二分法確定 alpha 值gk = feval(grid, x0); % x0處的梯度值fk = feval(fun, x0 + alpha * dk); % 函數(shù)在下一個(gè)迭代點(diǎn)處的目標(biāo)函數(shù)值l1 = feval(fun, x0) + c * alpha * gk' * dk; % Armjio準(zhǔn)則l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk; % Armjio準(zhǔn)則的補(bǔ)全while trueif fk > l1k = k + 1;b = alpha;alpha = (a + b) / 2;fk = feval(fun, x0 + alpha * dk);l1 = feval(fun, x0) + c * alpha * gk' * dk;l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk;continue;endif fk < l2k = k + 1;a = alpha;alpha = min([2 * alpha, (a + b) / 2]);fk = feval(fun, x0 + alpha * dk);l1 = feval(fun, x0) + c * alpha * gk' * dk;l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk;continue;endbreak;endxk = x0 + alpha * dk; % 下降點(diǎn)f = feval(fun, xk); % 下降點(diǎn)處函數(shù)值 end

---

四、與Armjio準(zhǔn)則的對(duì)比

以求解 Rosenbrock 函數(shù)為例，這是優(yōu)化領(lǐng)域中一個(gè)著名的檢驗(yàn)函數(shù)，函數(shù)表達(dá)式如下：

$$\begin{array}{rl}& f(x)=100(x_2?x_1^2{)}^2+(1?x_1{)}^2,\\ & g(x)=\left[\begin{array}{r}?400x_1{x}_2+400x_1^3+2x_1?2;\\ 200x_2?200x_1^2\end{array}\right]\end{array}$$

編寫(xiě)函數(shù)文件 fun.m 如下：

function f = fun(x) f = 100 * (x(2) - x(1)^2)^2 + (1 - x(1))^2; end

隨后是梯度函數(shù)文件 grid.m 如下：

function g = grid(x) g = [-400 * x(1) * x(2) + 400 * x(1)^3 + 2 * x(1) - 2;200 * x(2) - 200 * x(1)^2]; end

Armjio 準(zhǔn)則代碼參考此篇博客：最優(yōu)化建模算法理論之Armjio準(zhǔn)則（數(shù)學(xué)原理及MATLAB實(shí)現(xiàn)）

求解方法采用 BFGS 擬牛頓方法，代碼參考此篇博客：最優(yōu)化建模算法理論之BFGS/DFP擬牛頓方法（數(shù)學(xué)原理及MATLAB實(shí)現(xiàn)）

編寫(xiě)求解代碼如下：

x0 = [-10; 10]; [f, xk, k] = BFGS(x0, 'fun', 'grid', 1e-5, 1000)

初始點(diǎn)選為 [-10, 10]，若采用 Armjio 準(zhǔn)則求步長(zhǎng)，輸出如下：

>> resolve f =8.7712e-17 xk =1.00001.0000 k =70 >>

迭代了 70 次，若采用 Goldstein 準(zhǔn)則，輸出如下：

>> resolve f =8.3501e-20 xk =1.00001.0000 k =60 >>

迭代了 60 次即達(dá)到了精度要求，并且求解的函數(shù)值 f = 8.3501e-20 還要優(yōu)于 Armjio 準(zhǔn)則。

---

五、總結(jié)

不喜歡寫(xiě)總結(jié)。

總結(jié)

以上是生活随笔為你收集整理的最优化建模算法理论之Goldstein准则（数学原理及MATLAB实现）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。