Regularization:Regularized logistic regression

without regularization

?

• • 當(dāng)features很多時(shí)會(huì)出現(xiàn)overfitting現(xiàn)象，圖上的cost function是沒(méi)有使用regularization時(shí)的costfunction的計(jì)算公式

?

with regularization

?

• • 當(dāng)使用了regularization后，使θ_1到n不那么大(因?yàn)橐笿(θ)最小，θ₁²+θ₂².....θ_n²->0這時(shí)θ_j要趨向于0),這樣可以避免overfitting出現(xiàn)，如上圖中的粉色線的decision boundary.
  • 注意不用對(duì)θ₀使用regularization

Gradient descent

• without regularization

? ? ? ? ? ?

• with regularization

? ? ? ? ? ?

• • 與linear regression在形式上相似，但是它們的h_θ(x)不一樣

Advanced optimization method

• • 在matlab和octave中，index都是從1開(kāi)始的

  • [theta, cost] = ...
    fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);?%調(diào)用matlab的自帶的函數(shù)fminunc, @(t)(costFunction(t, X, y))創(chuàng)建一個(gè)function,參數(shù)為t,調(diào)用前面寫的 costFunction函數(shù),?返回求得最優(yōu)解后的theta和cost

轉(zhuǎn)載于:https://www.cnblogs.com/yan2015/p/4849471.html

總結(jié)

以上是生活随笔為你收集整理的machine learning(15) --Regularization:Regularized logistic regression的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。