scipy中的optimize子包中提供了常用的最優化算法函數實現，我們可以直接調用這些函數完成我們的優化問題。

scipy.optimize包提供了幾種常用的優化算法。 該模塊包含以下幾個方面

使用各種算法(例如BFGS，Nelder-Mead單純形，牛頓共軛梯度，COBYLA或SLSQP)的無約束和約束最小化多元標量函數(minimize())

全局(蠻力)優化程序(例如，anneal()，basinhopping())

最小二乘最小化(leastsq())和曲線擬合(curve_fit())算法

標量單變量函數最小化(minim_scalar())和根查找(newton())

使用多種算法(例如，Powell，Levenberg-Marquardt混合或Newton-Krylov等大規模方法)的多元方程系統求解

在用python實現邏輯回歸和線性回歸時，使用梯度下降法最小化cost function，用到了fmin_tnc()和minimize()。

一、fmin_tnc()

有約束的多元函數問題，提供梯度信息，使用截斷牛頓法。

調用：

scipy.optimize.fmin_tnc(func, x0, fprime=None, args=(), approx_grad=0,?bounds=None, epsilon=1e-08, scale=None, offset=None, messages=15, maxCGit=-1, maxfun=None, eta=-1, stepmx=0, accuracy=0, fmin=0, ftol=-1, xtol=-1, pgtol=-1, rescale=-1, disp=None, callback=None)

最常使用的參數：

func：優化的目標函數

x0：初值

fprime：提供優化函數func的梯度函數，不然優化函數func必須返回函數值和梯度，或者設置approx_grad=True

approx_grad :如果設置為True，會給出近似梯度

args：元組，是傳遞給優化函數的參數

返回：

x ：?數組，返回的優化問題目標值

nfeval ：?整數，function evaluations的數目

在進行優化的時候，每當目標優化函數被調用一次，就算一個function evaluation。在一次迭代過程中會有多次function evaluation。這個參數不等同于迭代次數，而往往大于迭代次數。

rc ：?int,Return code, see below

例子：

result = opt.fmin_tnc(func=costf_reg,x0=theta,args=(X,y,1),fprime=gredient_reg)

(array([ 1.27271026, 1.18111686, 0.62529965, -1.43166928, -0.91743189,

-2.01987399, -0.17516292, -0.35725404, -0.36553118, 0.12393227,

-1.19271299, -0.27469165, -0.61558556, -0.05098418, -1.45817009,

-0.45645981, -0.29539513, -0.27778949, -0.04466178, -0.206033,

-0.2421784 , -0.92467487, -0.1438915 , -0.32742405, 0.0155576,

-0.29244868, 0.02779373, -1.04319154]), 32, 1)

二、minimize()

調用：

scipy.optimize.minimize(fun, x0, args=(), method=None, jac=None,?hess=None, hessp=None, bounds=None, constraints=(), tol=None,callback=None, options=None)

參數：

fun?：優化的目標函數

x0?：初值，一維數組，shape(n,)

args?：元組，可選，額外傳遞給優化函數的參數

method：求解的算法，選擇TNC則和fmin_tnc()類似

jac：返回梯度向量的函數

返回：

返回優化結果對象，x：優化問題的目標數組。success: True表示成功與否，不成功會給出失敗信息。

例子：

result = opt.minimize(fun=costf_reg, x0=theta, args=(X,y,2), method='TNC')print(result)

fun:0.5740215331747713jac: array([-1.11983756e-03, -3.17176285e-03, 1.66888725e-04, -3.80251386e-04,5.17319521e-04, 5.48006085e-05, -1.71642700e-03, -9.40103551e-04,2.54840593e-04, 1.63347114e-04, -4.23616697e-04, 9.04154529e-04,-7.58726415e-05, 3.3874014……])

message:'Converged (|f_n-f_(n-1)| ~= 0)'nfev:192nit:20status:1success: True

x: array([0.89832911, 0.72816704, 0.32672603, -0.8722403 , -0.49704549,-1.37221312, -0.16553916, -0.29805388, -0.18577737, 0.02011522,-0.78541694, -0.0979966 ,…… ])

總結

以上是生活随笔為你收集整理的python实例 优化目标函数_Scipy优化算法--scipy.optimize.fmin_tnc()/minimize()的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。