? ? 斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課“單變量線性回歸(Linear regression with one variable)”

發(fā)表于?2012年05月6號?由?52nlp

斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課”單變量線性回歸“學(xué)習(xí)筆記，本次課程主要包括7部分：

1) Model representation(模型表示)

2) Cost function(代價(jià)函數(shù)，成本函數(shù))

3) Cost function intuition I(代價(jià)函數(shù)直觀解釋1)

4) Cost function intuition II(代價(jià)函數(shù)直觀解釋2)

5) Gradient descent(梯度下降)

6) Gradient descent intuition(梯度下降直觀解釋)

7) Gradient descent for linear regression(應(yīng)用于線性回歸的的梯度下降算法)

以下是第二課“單變量線性回歸”的課件資料下載鏈接，視頻可以在Coursera機(jī)器學(xué)習(xí)課程上觀看或下載： PPT???PDF

1) Model representation(模型表示)

回到第一課中的房屋價(jià)格預(yù)測問題， 首先它是一個(gè)有監(jiān)督學(xué)習(xí)的問題（對于每個(gè)樣本的輸入，都有正確的輸出或者答案），同時(shí)它也是一個(gè)回歸問題（預(yù)測一個(gè)實(shí)值輸出）。

訓(xùn)練集表示如下：

其中：

m?=?訓(xùn)練樣本的數(shù)目

x =?“輸入”變量，也稱之為特征

y =?“輸出”變量，也稱之為“目標(biāo)”變量

?

對于房價(jià)預(yù)測問題，學(xué)習(xí)過程可用下圖表示：

?

其中x代表房屋的大小，y代表預(yù)測的價(jià)格，h(hypothesis)將輸入變量 x 映射到輸出變量 y，如何表示h?

事實(shí)上Hypothesis可以表示成如下形式：

hθ(x)=θ0+θ1x

簡寫為 h(x)，也就是帶一個(gè)變量的線性回歸或者單變量線性回歸問題。

?

2) Cost function(代價(jià)函數(shù)，成本函數(shù))

對于Hypothesis:??hθ(x)=θ0+θ1x

θi?為參數(shù)

如何求θi?

構(gòu)想： 對于訓(xùn)練集(x, y)，選取參數(shù)θ0,?θ1使得hθ(x)盡可能的接近y。

如何做呢？一種做法就是求訓(xùn)練集的平方誤差函數(shù)（squared error function），Cost Function可表示為:

J(θ0,θ1)=12m∑i=1m(hθ(x(i))–y(i))2

并且選取合適的參數(shù)使其最小化，數(shù)學(xué)表示如下：

minimizeθ0,θ1J(θ0,θ1)

3) Cost function intuition I(直觀解釋1)

直觀來看，線性回歸主要包括如下四大部分，分別是Hypothesis, Parameters, Cost Function, Goal:

這里作者給出了一個(gè)簡化版的Cost function解釋，也就是令θ0為0：

然后令θ1分別取1、0.5、-0.5等值，同步對比hθ(x)和J(θ0,θ1)在二維坐標(biāo)系中的變化情況，具體可參考原PPT中的對比圖，很直觀。

?

4) Cost function intuition II(直觀解釋2)

回顧線性回歸的四個(gè)部分，這一次不在對Cost?Function做簡化處理，這個(gè)時(shí)候J(θ0,θ1)的圖形是一個(gè)三維圖或者一個(gè)等高線圖，具體可參考原課件。

可以發(fā)現(xiàn)，當(dāng)hθ(x)的直線越來越接近樣本點(diǎn)時(shí)，J(θ0,θ1)在等高線的圖中的點(diǎn)越來越接近最小值的位置。

5) Gradient descent(梯度下降)

應(yīng)用的場景之一-最小值問題：

對于一些函數(shù)，例如J(θ0,θ1)

目標(biāo):??minθ0,θ1J(θ0,θ1)

方法的框架:

1、給θ0,?θ1一個(gè)初始值，例如都等于0

2、每次改變θ0,?θ1的時(shí)候都保持J(θ0,θ1)遞減，直到達(dá)到一個(gè)我們滿意的最小值；

對于任一J(θ0,θ1)?, 初始位置不同，最終達(dá)到的極小值點(diǎn)也不同，例如以下兩個(gè)例子：

?

?

梯度下降算法：

重復(fù)下面的公式直到收斂：

?

舉例：

參數(shù)正確的更新過程如下（同步更新）：

?

錯(cuò)誤的更新過程如下：

?

6) Gradient descent intuition(梯度下降直觀解釋)

舉例，對于一個(gè)簡化的J(θ1)來說，無論拋物線的左邊還是右邊，在梯度下降算法下，θ1)都是保持正確的方向（遞增或遞減）

對于learning?rate(又稱為步長)來說:

如果α過小，梯度下降可能很慢；如果過大，梯度下降有可能“邁過”（overshoot）最小點(diǎn)，并且有可能收斂失敗，并且產(chǎn)生“分歧”(diverge)

梯度下降可以使函數(shù)收斂到一個(gè)局部最小值，特別對于learning?rate?α是固定值的時(shí)候：

當(dāng)函數(shù)接近局部最小值的時(shí)候，梯度下降法將自動(dòng)的采取“小步子”，?所以沒有必要隨著時(shí)間的推移減小learning?rate.

關(guān)于梯度下降算法，可以參考維基百科的介紹：http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95

?

7) Gradient descent for linear regression(應(yīng)用于線性回歸的的梯度下降算法)

梯度下降算法：

線性回歸模型：

J(θ0,θ1)對于θ0),?θ1)求導(dǎo)，得：

在梯度下降算法中進(jìn)行替換，就得到單變量線性回歸梯度下降算法：

詳細(xì)的圖形舉例請參考官方PPT，主要是在等高線圖舉例梯度下降的收斂過程，逐步逼近最小值點(diǎn)，其中一幅圖說明：線性回歸函數(shù)是凸函數(shù)(convex?function)，具有碗狀（bowl?shape)。

總結(jié)： 這里的梯度下降算法也稱為”Batch”?梯度下降: 梯度下降的每一步都使用了所有的訓(xùn)練樣本。

總結(jié)

以上是生活随笔為你收集整理的斯坦福大学机器学习第二课 “单变量线性回归”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。