吳恩達(dá)Coursera機(jī)器學(xué)習(xí)課系列筆記

課程筆記|吳恩達(dá)Coursera機(jī)器學(xué)習(xí) Week1 筆記-機(jī)器學(xué)習(xí)基礎(chǔ)

干貨|機(jī)器學(xué)習(xí)零基礎(chǔ)？不要怕，吳恩達(dá)機(jī)器學(xué)習(xí)課程筆記2-多元線性回歸

1Logistic Regression

1.1 Logistic Regression (Classification) Model

之前對(duì)房?jī)r(jià)的預(yù)測(cè)，其預(yù)測(cè)結(jié)果是一個(gè)連續(xù)變量，屬于回歸模型（Linear regression）。接下來(lái)要講的是分類(lèi)模型（Logistic regression），即其預(yù)測(cè)結(jié)果是一個(gè)離散變量，有固定的取值分布。

分類(lèi)問(wèn)題，又分成了“二分類(lèi)”和“多分類(lèi)”，先講簡(jiǎn)單的“二分類(lèi)”。

例子：判斷一個(gè)病人是否罹患癌癥。一個(gè)二分類(lèi)問(wèn)題，是或者否。

sigmoid函數(shù)形狀如下：

現(xiàn)在可以用這個(gè)[0，1]之間的值來(lái)表示罹患癌癥的概率了，設(shè)定一個(gè)閾值(threshold)，如果h(x)>threshold，則罹患癌癥，反之。

注意：這里的sigmoid只是起到了映射到(0, 1)范圍的作用。

邏輯回歸的邊界依然是： θ^(T)x==threshold

從這個(gè)邊界中看到，這樣的邏輯回歸是一個(gè)線性分類(lèi)器。

用等高線圖畫(huà)出來(lái)就是這樣的：?

三維圖是這樣的：

畫(huà)圖的代碼如下：

% Here is the grid rangeu = linspace(30, 100, 100);v = linspace(30, 100, 100);z = zeros(length(u), length(v));% Evaluate z = theta*x over the gridfor i = 1:length(u)for j = 1:length(v)t = [1, u(i), v(j)];z(i,j) = sigmoid(t * theta);endendz = z'; % important to transpose z before calling contour% Plot z = 0% Notice you need to specify the range [0, 0]contour(u, v, z, [0.5, 0.5], 'LineWidth', 2)xlabel('Exam 1 score')ylabel('Exam 2 score')hold off;figure;surf(u, v, z)

接下來(lái)就是loss function的設(shè)置了。

在logistic regression中，不再使用平方差來(lái)表示error了，轉(zhuǎn)而使用negative log來(lái)表示error：

解釋為什么使用negative log；

首先說(shuō)明loss function的定義：當(dāng)預(yù)測(cè)結(jié)果越接近真實(shí)結(jié)果時(shí)，loss越小。只要函數(shù)可以滿(mǎn)足這一點(diǎn)，就可以成為loss function

邏輯回歸一般情況下是線性分類(lèi)器，但是在特定的情況下，可以轉(zhuǎn)變成非線性分類(lèi)器，如下圖：?

1.3 Multiclass Classification Model

OK, OK…但是還有很多情況，分類(lèi)不止“是”、“否”兩種。

下圖左邊是二分類(lèi)的情況，右邊是多分類(lèi)的情況。

對(duì)于多分類(lèi)問(wèn)題可以轉(zhuǎn)化成多個(gè)二分類(lèi)問(wèn)題來(lái)解決，如下圖，先取一種類(lèi)別，把其他的都?xì)w并為一類(lèi)。然后再去一種類(lèi)別，把剩余的歸并為一類(lèi)……直至所有類(lèi)別都遍歷完。

最后，對(duì)于一個(gè)x，有k個(gè)h(x)，分別代表k個(gè)類(lèi)概率，取最大h(x)所屬的類(lèi)別即可。

2Regularization

2.1 Overfitting Problem

overfitting就是在訓(xùn)練集中擬合的特別好，或者說(shuō)是過(guò)分好了，導(dǎo)致在新數(shù)據(jù)上的預(yù)測(cè)的效果不好。如下圖：

左邊沒(méi)有overfitting，右邊的overfitting

2.2 Regularization Intuition

下面兩幅圖中，左邊的沒(méi)有overfitting，右邊的overfitting了，原因就是多了最后θ3和θ4這兩項(xiàng)使得整個(gè)模型變復(fù)雜了。

所以我們需要在cost function中增加一項(xiàng)懲罰項(xiàng)penalty，我們的目的就是讓θ3和θ4盡可能的小，最好接近于0，這樣就可以消除這兩項(xiàng)的干擾了。

2.3 Regularization Term

總而言之，λ是用來(lái)控制懲罰項(xiàng)的影響因子，越大就是讓?xiě)土P項(xiàng)越發(fā)揮作用。

最后，在gradient descent中，把這一項(xiàng)也求導(dǎo)了就好了。

總結(jié)

以上是生活随笔為你收集整理的干货|机器学习零基础？不要怕，吴恩达课程笔记第三周！逻辑回归与正则的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。