http://www.scipy-lectures.org/advanced/mathematical_optimization/index.html

機器學習中數學優化專門用于解決尋找一個函數的最小值的問題。這里的函數被稱為cost function或者objective function，或者energy:損失函數或者目標函數。

更進一步，在機器學習優化中，我們并不依賴于被優化的函數的數學解析表達式，我們通過使用$scipy.optimize$從而實現類似黑盒優化。

了解你的優化問題本身

并不是所有的優化問題都是一樣的，如果你能對你待優化的問題本身有一個深刻的理解，這樣可以選擇正確的優化方法。

1.其中非常重要的一點就是要考察問題本身的維數。問題本身數據的維數（標量變量的個數）決定了優化問題的規模。

2.convex和non-convex優化

凸函數的特征:

$f$總是在其切線之上
或者說，對于兩個點$A,B$，如果$A<C<B$,則$f(C)$總是在線段$f(A),f(B)$之間

凸函數優化相對非常簡單。

3.函數光滑與否(是否處處可導)

4. loss函數以及gradient函數是否存在噪聲

如果gradient沒有解析式，那么我們都須通過計算式計算，這必然導致誤差。

5. 是否有限制條件

比如，下圖中就要求優化只能在$x_1,x_2 in (-1,1)$間優化

常見的優化方法

Brent’s method

理論依據是中值定理，對于一個連續函數,$f$,如果兩個端點a,b的函數值$f(a)f(b)<0$，則$(a,b)$之間必然存在一個駐點(導數為0)，我們可以不斷迭代最終求得駐點；

from scipy import optimize
def f(x):
    return -np.exp(-(x - 0.7)**2)
result = optimize.minimize_scalar(f)
result.success # check if solver was successful

x_min = result.x

gradient based methods

簡單梯度下降法

原理如教科書的描述，根據梯度下降的方向去做數值變更和迭代，最終求得駐點。

存在的問題是：參數調整時可能反復跨過駐點從而形成震蕩，雖然減少參數調整的布幅可以減輕這個問題，但是無法徹底解決。

共軛梯度下降

共軛算法在簡單梯度下降基礎上增加一個摩擦項(frictionterm),每個step依賴于梯度最近的兩個值，這樣可以有效解決反復震蕩問題。

def f(x):   # The rosenbrock function
    return .5*(1 - x[0])**2 + (x[1] - x[0]**2)**2
optimize.minimize(f, [2, -1], method="CG")    

梯度優化方法需要loss函數的雅可比（梯度）值，雖然即使你不傳入導數(雅可比矩陣是針對y值為向量的情況下的梯度向量)，算法也能夠通過數值計算方法算出來，但是如果有解析表達式，我們傳入這個值會大大提升收斂效率.

def jacobian(x):
    return np.array((-2*.5*(1 - x[0]) - 4*x[0]*(x[1] - x[0]**2), 2*(x[1] - x[0]**2)))
optimize.minimize(f, [2, 1], method="CG", jac=jacobian)    

注意：通過傳入解析表達式后，只需要28次就能收斂，而之前需要108次迭代才能收斂。

牛頓梯度法（Newton and quasi-newton methods）

def f(x):   # The rosenbrock function
    return .5*(1 - x[0])**2 + (x[1] - x[0]**2)**2
def jacobian(x):
    return np.array((-2*.5*(1 - x[0]) - 4*x[0]*(x[1] - x[0]**2), 2*(x[1] - x[0]**2)))
optimize.minimize(f, [2,-1], method="Newton-CG", jac=jacobian)    

BFGS

BFGS在牛頓法基礎上細調了Hessian矩陣的估算方法

L-BFGS

L-BFGS位于BFGS和共軛梯度法之間。對于非常高維（大于250個）的loss函數，Hessian矩陣的計算是非常耗時的，L-BFGS keeps a low-rank version.

非梯度優化方法

Powell算法

Nelder-Mead

帶約束條件的函數優化

盒子邊界

def f(x):
   return np.sqrt((x[0] - 3)**2 + (x[1] - 2)**2)
optimize.minimize(f, np.array([0, 0]), bounds=((-1.5, 1.5), (-1.5, 1.5))) 

通用約束:拉格朗日乘數法化約束為對偶無約束的優化問題

def f(x):
    return np.sqrt((x[0] - 3)**2 + (x[1] - 2)**2)

def constraint(x):
    return np.atleast_1d(1.5 - np.sum(np.abs(x)))

x0 = np.array([0, 0])
optimize.minimize(f, x0, constraints={"fun": constraint, "type": "ineq"}) 

總結

以上是生活随笔為你收集整理的机器学习中常见优化方法汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。