from：https://blog.csdn.net/m399498400/article/details/52556168

?

定義本課程常用符號(hào)

訓(xùn)練數(shù)據(jù)：機(jī)器用來(lái)學(xué)習(xí)的數(shù)據(jù)
測(cè)試數(shù)據(jù)：用來(lái)考察機(jī)器學(xué)習(xí)效果的數(shù)據(jù)，相當(dāng)于考試。

m = 訓(xùn)練樣本的數(shù)量（訓(xùn)練集的個(gè)數(shù))
x = 輸入的特征（例如房屋面積）
y = 輸出結(jié)果（例如房屋售價(jià)）

(x(i),y(i)) = 表示訓(xùn)練集中第i個(gè)訓(xùn)練樣本

一.Cost Function(代價(jià)函數(shù))

一，什么是代價(jià)函數(shù)?
我在網(wǎng)上找了很長(zhǎng)時(shí)間代價(jià)函數(shù)的定義，但是準(zhǔn)確定義并沒(méi)有，我理解的代價(jià)函數(shù)就是用于找到最優(yōu)解的目的函數(shù)，這也是代價(jià)函數(shù)的作用。

二，代價(jià)函數(shù)作用原理?
對(duì)于回歸問(wèn)題，我們需要求出代價(jià)函數(shù)來(lái)求解最優(yōu)解，常用的是平方誤差代價(jià)函數(shù)。

比如，對(duì)于下面的假設(shè)函數(shù):?

里面有θ0和θ1兩個(gè)參數(shù)，參數(shù)的改變將會(huì)導(dǎo)致假設(shè)函數(shù)的變化，比如：?

現(xiàn)實(shí)的例子中，數(shù)據(jù)會(huì)以很多點(diǎn)的形式給我們，我們想要解決回歸問(wèn)題，就需要將這些點(diǎn)擬合成一條直線，找到最優(yōu)的θ0和θ1來(lái)使這條直線更能代表所有數(shù)據(jù)。?

而如何找到最優(yōu)解呢，這就需要使用代價(jià)函數(shù)來(lái)求解了，以平方誤差代價(jià)函數(shù)為例。?
從最簡(jiǎn)單的單一參數(shù)來(lái)看，假設(shè)函數(shù)為：?

平方誤差代價(jià)函數(shù)的主要思想就是將實(shí)際數(shù)據(jù)給出的值(x(i),y(i))與我們擬合出的線的對(duì)應(yīng)值做差，這樣就能求出我們擬合出的直線與實(shí)際的差距了。

為了使這個(gè)值不受個(gè)別極端數(shù)據(jù)影響而產(chǎn)生巨大波動(dòng)，采用類(lèi)似方差再取二分之一的方式來(lái)減小個(gè)別數(shù)據(jù)的影響。這樣，就產(chǎn)生了代價(jià)函數(shù)：?

【平均數(shù)：??（n表示這組數(shù)據(jù)個(gè)數(shù)，x1、x2、x3……xn表示這組數(shù)據(jù)具體數(shù)值）

方差公式：?】

【擬合出的線的對(duì)應(yīng)值—實(shí)際數(shù)據(jù)給出的值(x(i),y(i))】

而最優(yōu)解即為代價(jià)函數(shù)的最小值，根據(jù)以上公式多次計(jì)算可得到?
代價(jià)函數(shù)的圖像：?

可以看到該代價(jià)函數(shù)的確有最小值，這里恰好是橫坐標(biāo)為1的時(shí)候。

如果更多參數(shù)的話，就會(huì)更為復(fù)雜，兩個(gè)參數(shù)的時(shí)候就已經(jīng)是三維圖像了：?

高度即為代價(jià)函數(shù)的值，可以看到它仍然有著最小值的，而到達(dá)更多的參數(shù)的時(shí)候就無(wú)法像這樣可視化了，但是原理都是相似的。?
因此，對(duì)于回歸問(wèn)題，我們就可以歸結(jié)為得到代價(jià)函數(shù)的最小值：?

?

二.Multivariate Linear regression(多元線性回歸)

現(xiàn)在起將開(kāi)始介紹一種新的更為有效的線性回歸形式。這種形式適用于多個(gè)變量或者多特征量的情況。

在之前學(xué)習(xí)過(guò)的線性回歸中，都是只有一個(gè)單一的特征量--房屋面積 x，如圖1-1所示，

圖1-1

我們希望用房屋面積這個(gè)特征量來(lái)預(yù)測(cè)房子的價(jià)格。但是想象一下如果我們不僅有房屋面積作為預(yù)測(cè)房屋價(jià)格的特征量，我們還知道臥室的數(shù)量，樓層的數(shù)量以及房子的使用年限，如圖1-2所示，

圖1-2

這樣就給了我們更多可以用來(lái)預(yù)測(cè)房屋價(jià)格的信息了。接著我們先簡(jiǎn)單介紹一下符號(hào)記法，一開(kāi)始的時(shí)候就提到過(guò)我要用x1,x2，x3,x4來(lái)表示種情況下的四個(gè)特征量，然后仍然用 y來(lái)表示我們所想要預(yù)測(cè)的輸出變量 。除此之外，我們來(lái)看看更多的表示方式，如圖1-3

[第i個(gè)訓(xùn)練樣本；第i個(gè)訓(xùn)練樣本中第j個(gè)參數(shù)值]

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖1-3

?

首先介紹的是特征數(shù)量n，這里用小寫(xiě)n來(lái)表示特征量的數(shù)目。因此在這個(gè)例子中，我們的n等于4（之前我們是用的“m”來(lái)表示樣本的數(shù)量，現(xiàn)在開(kāi)始我們用n來(lái)表示特征量的數(shù)目）。

接著介紹的是第i個(gè)訓(xùn)練樣本的輸入特征值x(i)（這里一定要看清是上標(biāo)，不要搞混了）。舉個(gè)具體的例子來(lái)說(shuō)x(2)就是表示第二個(gè)訓(xùn)練樣本的特征向量，如圖1-4中用紅色框圈起來(lái)的位置，

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖1-4

紅色框圈起來(lái)的這四個(gè)數(shù)字對(duì)應(yīng)了我用來(lái)預(yù)測(cè)第二個(gè)房屋價(jià)格的四個(gè)特征量，因此在這種記法中，這個(gè)上標(biāo)2就是訓(xùn)練集的一個(gè)索引，而不是x的2次方，這個(gè)2就對(duì)應(yīng)著你所看到的表格中的第二行，即我的第二個(gè)訓(xùn)練樣本，同時(shí)也是一個(gè)四維向量。事實(shí)上更普遍

地來(lái)說(shuō)這是n維的向量。

最后介紹的是第i個(gè)訓(xùn)練樣本的第j個(gè)特征量，用來(lái)表示。舉個(gè)具體的例子來(lái)說(shuō)：

，即對(duì)應(yīng)著圖1-4中第二個(gè)訓(xùn)練樣本的第三個(gè)數(shù)。

?

?

我們最初使用的假設(shè)函數(shù)只有一個(gè)唯一的特征量，如圖1-5黑色字體，

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖1-5

但現(xiàn)在我們有了多個(gè)特征量，我們就不能再使用這種簡(jiǎn)單的表示方式了。取而代之的我們將把線性回歸的假設(shè)改成圖1-5中藍(lán)色字體那樣。如果我們有n個(gè)特征量，那么我們要將所有的n個(gè)特征量相加，而不僅僅是四個(gè)特征量，如圖1-6所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖1-6

接下來(lái)，要做的是簡(jiǎn)化這個(gè)等式的表示方式，為了表示方便我要將x0的（看清楚這里是下標(biāo)）值設(shè)為1。具體而言，這意味著對(duì)于第i個(gè)樣本，都有一個(gè)等于1。一開(kāi)始的時(shí)候有n個(gè)特征量，由于另外定義了額外的第0個(gè)特征向量，并且它的取值總是1，所以我現(xiàn)在的特征向量x是一個(gè)從0開(kāi)始標(biāo)記的n+1維的向量。同時(shí)，我也把我的參數(shù)θ也都看做一個(gè)n+1維的向量。如圖1-7所示

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖1-7

正是向量的引入，這里我們的假設(shè)函數(shù)可以換一種更加高效的方式來(lái)寫(xiě)，如圖1-8，

圖1-8

這里我把假設(shè)函數(shù)等式寫(xiě)成?θ轉(zhuǎn)置乘以X，這其實(shí)就是向量?jī)?nèi)積。這就為我們提供了一個(gè)表示假設(shè)函數(shù)更加便利的形式，即用參數(shù)向量θ以及特征向量X的內(nèi)積。這樣的表示習(xí)慣就讓我們可以以這種緊湊的形式寫(xiě)出假設(shè)。?

?

以上就是多特征量情況下的假設(shè)形式，另一個(gè)名字就是多元線性回歸。

?

二.Gradient Descent for Multiple Variables(多元線性回歸的梯度下降)

在之前我們談到的線性回歸的假設(shè)形式，是一種有多特征或者是多變量的形式。在這部分我們將會(huì)談到如何找到滿足這一假設(shè)的參數(shù)θ，尤其是如何使用梯度下降法來(lái)解決多特征的線性回歸問(wèn)題。

現(xiàn)假設(shè)有多元線性回歸，并約定x0=1，該模型的參數(shù)是從θ0到θn，如圖2-1所示，

圖2-1

這里不要認(rèn)為這是n+1個(gè)單獨(dú)的參數(shù)，我們要把這n+1個(gè)θ參數(shù)想象成一個(gè)n+1維的向量θ。

?

我們一開(kāi)始的代價(jià)函數(shù)如圖2-2黑色字體所示，

圖2-2

但同樣地我們不要把函數(shù)J想成是一個(gè)關(guān)于n+1個(gè)自變量的函數(shù)，而是看成帶有一個(gè)n+1維向量的函數(shù)。

-----------------------------------------------------------------------------

關(guān)于圖2-2的這個(gè)公式要深入理解下，見(jiàn)圖2-3的練習(xí)

圖2-3

一開(kāi)始選了2和4，提交后得知應(yīng)該選擇1和2。分析如下：

選項(xiàng)1.其實(shí)這里的x(i)拆開(kāi)后是，然后和θ的轉(zhuǎn)置相乘，結(jié)果與是一樣的。

?

選項(xiàng)2.將括號(hào)里的拆開(kāi)后就是，可見(jiàn)選項(xiàng)2也是對(duì)的。

?

選項(xiàng)3.從1開(kāi)始錯(cuò)誤，我們規(guī)定了要從0開(kāi)始。

?

選項(xiàng)4.，因?yàn)槲覀兊膟不像x有x0，x1，x2等等，y是沒(méi)有下標(biāo)只有上標(biāo)的，所以選項(xiàng)4錯(cuò)誤。

?

-----------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------

https://www.cnblogs.com/ooon/p/4947688.html

1 問(wèn)題的引出

對(duì)于上篇中講到的線性回歸，先化一個(gè)為一個(gè)特征θ1，θ0為偏置項(xiàng)，最后列出的誤差函數(shù)如下圖所示：

手動(dòng)求解

目標(biāo)是優(yōu)化J(θ1)，得到其最小化，下圖中的×為y(i)，下面給出TrainSet，{(1,1),(2,2),(3,3)}通過(guò)手動(dòng)尋找來(lái)找到最優(yōu)解，由圖可見(jiàn)當(dāng)θ1取1時(shí)，與y(i)完全重合，J(θ1) = 0

下面是θ1的取值與對(duì)應(yīng)的J(θ1)變化情況

由此可見(jiàn)，最優(yōu)解即為0，現(xiàn)在來(lái)看通過(guò)梯度下降法來(lái)自動(dòng)找到最優(yōu)解，對(duì)于上述待優(yōu)化問(wèn)題，下圖給出其三維圖像，可見(jiàn)要找到最優(yōu)解，就要不斷向下探索，使得J(θ)最小即可。

2 梯度下降的幾何形式

下圖為梯度下降的目的，找到J（θ）的最小值。

其實(shí)，J(θ)的真正圖形是類(lèi)似下面這樣的，因?yàn)槠涫且粋€(gè)凸函數(shù)，只有一個(gè)全局最優(yōu)解，所以不必?fù)?dān)心像上圖一樣找到局部最優(yōu)解

直到了要找到圖形中的最小值之后，下面介紹自動(dòng)求解最小值的辦法，這就是梯度下降法

對(duì)參數(shù)向量θ中的每個(gè)分量θj，迭代減去速率因子a* (dJ(θ)/dθj)即可，后邊一項(xiàng)為J(θ)關(guān)于θj的偏導(dǎo)數(shù)

3 梯度下降的原理

導(dǎo)數(shù)的概念

由公式可見(jiàn)，對(duì)點(diǎn)x0的導(dǎo)數(shù)反映了函數(shù)在點(diǎn)x0處的瞬時(shí)變化速率，或者叫在點(diǎn)x0處的斜度。推廣到多維函數(shù)中，就有了梯度的概念，梯度是一個(gè)向量組合，反映了多維圖形中變化速率最快的方向。

下圖展示了對(duì)單個(gè)特征θ1的直觀圖形，起始時(shí)導(dǎo)數(shù)為正，θ1減小后并以新的θ1為基點(diǎn)重新求導(dǎo)，一直迭代就會(huì)找到最小的θ1，若導(dǎo)數(shù)為負(fù)時(shí)，θ1的就會(huì)不斷增到，直到找到使損失函數(shù)最小的值。

?

?

有一點(diǎn)需要注意的是步長(zhǎng)a的大小，如果a太小，則會(huì)迭代很多次才找到最優(yōu)解，若a太大，可能跳過(guò)最優(yōu)，從而找不到最優(yōu)解。

另外，在不斷迭代的過(guò)程中，梯度值會(huì)不斷變小，所以θ1的變化速度也會(huì)越來(lái)越慢，所以不需要使速率a的值越來(lái)越小

下圖就是尋找過(guò)程

當(dāng)梯度下降到一定數(shù)值后，每次迭代的變化很小，這時(shí)可以設(shè)定一個(gè)閾值，只要變化小魚(yú)該閾值，就停止迭代，而得到的結(jié)果也近似于最優(yōu)解。

若損失函數(shù)的值不斷變大，則有可能是步長(zhǎng)速率a太大，導(dǎo)致算法不收斂，這時(shí)可適當(dāng)調(diào)整a值

為了選擇參數(shù)a，就需要不斷測(cè)試，因?yàn)閍太大太小都不太好。

?

?

如果想跳過(guò)的a與算法復(fù)雜的迭代，可以選擇 Normal Equation。

4 隨機(jī)梯度下降

對(duì)于樣本數(shù)量額非常之多的情況，Batch Gradient Descent算法會(huì)非常耗時(shí)，因?yàn)槊看蔚家憷袠颖?#xff0c;可選用Stochastic Gradient Descent 算法，需要注意外層循環(huán)Loop，因?yàn)橹槐闅v一次樣本，不見(jiàn)得會(huì)收斂。

隨機(jī)梯度算法就可以用作在線學(xué)習(xí)了，但是注意隨機(jī)梯度的結(jié)果并非完全收斂，而是在收斂結(jié)果處波動(dòng)的，可能由非線性可分的樣本引起來(lái)的：

可以有如下解決辦法：（來(lái)自MLIA）

1. 動(dòng)態(tài)更改學(xué)習(xí)速率a的大小，可以增大或者減小

2. 隨機(jī)選樣本進(jìn)行學(xué)習(xí)?

-----------------------------------------------------------------------------------------------------------------------------

講完代價(jià)函數(shù)，講梯度下降，如圖2-4所示，

圖2-4

同理這里把函數(shù)J想成是帶有一個(gè)n+1維向量的函數(shù)。當(dāng)我們實(shí)現(xiàn)梯度下降法后，我們可以仔細(xì)觀察一下它的偏導(dǎo)數(shù)項(xiàng)，圖2-5是我們當(dāng)特征個(gè)數(shù)n=1時(shí)梯度下降的情況。我們有兩條針對(duì)參數(shù)θ0和θ1不同的更新規(guī)則，

圖2-5

圖2-5的兩個(gè)式子不同點(diǎn)在于對(duì)參數(shù)θ1我們有另一個(gè)更新規(guī)則，即在最后多了一項(xiàng)

X(i)。（http://blog.csdn.net/m399498400/article/details/52528722圖1-2中講解了這一項(xiàng)的推導(dǎo)過(guò)程）。

----------------------------推導(dǎo)過(guò)程------------------結(jié)合復(fù)合函數(shù)的求導(dǎo)（對(duì)什么參數(shù)求導(dǎo)，其他的參數(shù)就當(dāng)做常數(shù)）--------

-----------------------------------------------------------------------------------------------------------------------------

以上是特征數(shù)量只有1個(gè)的情況下的梯度下降法的實(shí)現(xiàn)。當(dāng)特征數(shù)量大于等于1個(gè)的時(shí)候，我們的梯度下降更新規(guī)則，變成了如圖2-6的形式。

圖2-6

其實(shí)圖2-5和圖2-6這兩種新舊算法實(shí)際上是一回事兒。考慮這樣一個(gè)情況，假設(shè)我們有3個(gè)特征數(shù)量，我們就會(huì)有對(duì)θ1、θ2、θ3的三條更新規(guī)則。如圖2-7所示，

圖2-7

仔細(xì)觀察θ0的更新規(guī)則，就會(huì)發(fā)現(xiàn)這跟之前圖2-5中n=1的情況是相同的。它們之所以是等價(jià)的是因?yàn)樵谖覀兊臉?biāo)記約定里有=1。

如果再仔細(xì)觀察θ1的更新規(guī)則，會(huì)發(fā)現(xiàn)這里的這一項(xiàng)是和圖2-5對(duì)參數(shù)θ1的更新項(xiàng)是等價(jià)的。在圖2-7中我們只是用了新的符號(hào)來(lái)表示我們的第一個(gè)特征。其實(shí)當(dāng)n=1的時(shí)候，和是一樣的。因?yàn)閳D2-7的新算法應(yīng)用更普遍，更廣泛，所以以后不管是單特征變量還是多特征變量我們都用圖2-7的算法來(lái)做梯度下降。

總結(jié)

以上是生活随笔為你收集整理的Machine Learning（Stanford）| 斯坦福大学机（吴恩达）器学习笔记【汇总】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。