scipy中的optimize子包中提供了常用的最優(yōu)化算法函數(shù)實(shí)現(xiàn)，我們可以直接調(diào)用這些函數(shù)完成我們的優(yōu)化問(wèn)題。

scipy.optimize包提供了幾種常用的優(yōu)化算法。 該模塊包含以下幾個(gè)方面

使用各種算法(例如BFGS，Nelder-Mead單純形，牛頓共軛梯度，COBYLA或SLSQP)的無(wú)約束和約束最小化多元標(biāo)量函數(shù)(minimize())

全局(蠻力)優(yōu)化程序(例如，anneal()，basinhopping())

最小二乘最小化(leastsq())和曲線擬合(curve_fit())算法

標(biāo)量單變量函數(shù)最小化(minim_scalar())和根查找(newton())

使用多種算法(例如，Powell，Levenberg-Marquardt混合或Newton-Krylov等大規(guī)模方法)的多元方程系統(tǒng)求解

在用python實(shí)現(xiàn)邏輯回歸和線性回歸時(shí)，使用梯度下降法最小化cost function，用到了fmin_tnc()和minimize()。

一、fmin_tnc()

有約束的多元函數(shù)問(wèn)題，提供梯度信息，使用截?cái)嗯ｎD法。

調(diào)用：

scipy.optimize.fmin_tnc(func, x0, fprime=None, args=(), approx_grad=0,?bounds=None, epsilon=1e-08, scale=None, offset=None, messages=15, maxCGit=-1, maxfun=None, eta=-1, stepmx=0, accuracy=0, fmin=0, ftol=-1, xtol=-1, pgtol=-1, rescale=-1, disp=None, callback=None)

最常使用的參數(shù)：

func：優(yōu)化的目標(biāo)函數(shù)

x0：初值

fprime：提供優(yōu)化函數(shù)func的梯度函數(shù)，不然優(yōu)化函數(shù)func必須返回函數(shù)值和梯度，或者設(shè)置approx_grad=True

approx_grad :如果設(shè)置為True，會(huì)給出近似梯度

args：元組，是傳遞給優(yōu)化函數(shù)的參數(shù)

返回：

x ：?數(shù)組，返回的優(yōu)化問(wèn)題目標(biāo)值

nfeval ：?整數(shù)，function evaluations的數(shù)目

在進(jìn)行優(yōu)化的時(shí)候，每當(dāng)目標(biāo)優(yōu)化函數(shù)被調(diào)用一次，就算一個(gè)function evaluation。在一次迭代過(guò)程中會(huì)有多次function evaluation。這個(gè)參數(shù)不等同于迭代次數(shù)，而往往大于迭代次數(shù)。

rc ：?int,Return code, see below

例子：

result = opt.fmin_tnc(func=costf_reg,x0=theta,args=(X,y,1),fprime=gredient_reg)

(array([ 1.27271026, 1.18111686, 0.62529965, -1.43166928, -0.91743189,

-2.01987399, -0.17516292, -0.35725404, -0.36553118, 0.12393227,

-1.19271299, -0.27469165, -0.61558556, -0.05098418, -1.45817009,

-0.45645981, -0.29539513, -0.27778949, -0.04466178, -0.206033,

-0.2421784 , -0.92467487, -0.1438915 , -0.32742405, 0.0155576,

-0.29244868, 0.02779373, -1.04319154]), 32, 1)

二、minimize()

調(diào)用：

scipy.optimize.minimize(fun, x0, args=(), method=None, jac=None,?hess=None, hessp=None, bounds=None, constraints=(), tol=None,callback=None, options=None)

參數(shù)：

fun?：優(yōu)化的目標(biāo)函數(shù)

x0?：初值，一維數(shù)組，shape(n,)

args?：元組，可選，額外傳遞給優(yōu)化函數(shù)的參數(shù)

method：求解的算法，選擇TNC則和fmin_tnc()類似

jac：返回梯度向量的函數(shù)

返回：

返回優(yōu)化結(jié)果對(duì)象，x：優(yōu)化問(wèn)題的目標(biāo)數(shù)組。success: True表示成功與否，不成功會(huì)給出失敗信息。

例子：

result = opt.minimize(fun=costf_reg, x0=theta, args=(X,y,2), method='TNC')print(result)

fun:0.5740215331747713jac: array([-1.11983756e-03, -3.17176285e-03, 1.66888725e-04, -3.80251386e-04,5.17319521e-04, 5.48006085e-05, -1.71642700e-03, -9.40103551e-04,2.54840593e-04, 1.63347114e-04, -4.23616697e-04, 9.04154529e-04,-7.58726415e-05, 3.3874014……])

message:'Converged (|f_n-f_(n-1)| ~= 0)'nfev:192nit:20status:1success: True

x: array([0.89832911, 0.72816704, 0.32672603, -0.8722403 , -0.49704549,-1.37221312, -0.16553916, -0.29805388, -0.18577737, 0.02011522,-0.78541694, -0.0979966 ,…… ])

總結(jié)

以上是生活随笔為你收集整理的python实例 优化目标函数_Scipy优化算法--scipy.optimize.fmin_tnc()/minimize()的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。