Logistic Regression邏輯回歸（分類）：

0:Negative Class

1:Positive Class

二元分類問題講起。盡管有回歸二字，事實上為分類算法，處理離散y值。

?

輸出以以條件概率表示。若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0

?

決策邊界(DecisionBoundary)：當z=0，即thetaT*X的值等于零時，此時如果函數(shù)為0.5。

?

以下是還有一個邊界的樣例：

僅僅要得到theta值。就能得到?jīng)Q策邊界

?

邏輯回歸的代價函數(shù)非?？赡苁且粋€非凸函數(shù)(non-convex)，有非常多局部最長處，所以假設(shè)用梯度下降法，不能保證會收斂到全局最小值。

?

單次的代價函數(shù)例如以下：

終于多樣本的代價函數(shù)以及我們要做的工作：

依據(jù)前面的方法，同一時候地進行梯度下降法求出theta向量。

?

優(yōu)化方法：共軛梯度、BFGS等等，無需選學習率，自己主動的，比梯度下降快，可是復雜。建議直接調(diào)用庫。

?

多元分類：

1對多方法

h函數(shù)事實上就相應著條件概率，所以就是訓練三個分類器。選條件概率最高的。

?

過擬合問題overfitting——正則化Regulation

對訓練數(shù)據(jù)效果非常好，但無法對新數(shù)據(jù)進行非常好的預測。泛化能力弱，就是一般性不好

參數(shù)過多，高階項多等。

解決方法：

1、降低特征數(shù)量（找基本的，或者用算法找）

2、正則化（保留全部參數(shù)。但較少維度或數(shù)量級）

?

正則化項：增加參數(shù)過多的懲處。當中lamda是控制正則化參數(shù)

lamda過大，easy造成欠擬合underfitting。相當于全部theta都約等于0。僅僅剩第一項。

?

正則化線性回歸：正則化+梯度下降結(jié)合：

不懲處theta0，所以分開寫

正規(guī)化方法加上正則化項后的求法：

?

正則化邏輯回歸：

用梯度下降法的改動和線性回歸形式一樣，僅僅是h函數(shù)不一樣

?

?

總結(jié)

以上是生活随笔為你收集整理的吴恩达机器学习笔记_第三周的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。