【机器学习】线性回归之梯度下降、多元线性回归概述
線性回歸是一種監(jiān)督學(xué)習(xí)方法.?
對每個樣本來說：?
Hypothesis:
即：
其中，?為預(yù)測值，?為樣本的第i個特征，且；??為該特征下的權(quán)重，bias偏差。線性回歸就是要在已有的樣本特征和標(biāo)簽下學(xué)習(xí)特征權(quán)重，從而在待測樣本中應(yīng)用學(xué)習(xí)好的特征權(quán)重，得到待測樣本的標(biāo)簽。?
定義損失函數(shù)：
我們的目的是找到最優(yōu)的??來最小化???, 使用梯度下降方法：
對每一個樣本來說：?
Batch Gradient Descent：
?
其中i表示第i個樣本。上式為第i個樣本第j個特征的梯度求解然后平均。?
因此:
其中為學(xué)習(xí)速率。
對于的一些使用建議可以參考下圖。
接下來，我們來了解幾種求解最優(yōu)參數(shù)的方法。
批量梯度下降（batch gradient descent(BGD)）：
不斷迭代下式直到收斂{
}
由上式可知，每一次迭代都要遍歷所有樣本，因此，當(dāng)樣本量很大時，批量梯度下降法迭代時間會很長。
隨機(jī)梯度下降（stochastic gradient descent(SGD)）:?
不斷迭代下式直到收斂{?
for i = 1 to m,{?
}
由上式可知，隨機(jī)梯度下降法每一次迭代只使用一個訓(xùn)練樣本，因此可以大大縮小迭代時間。
SGD每一個epoch也需要計(jì)算樣本量大小的數(shù)量的梯度（1...m）。SGD與BGD的主要區(qū)別在于，SGD一個epoch下來計(jì)算了m次梯度同時也更新了m次，而BGD一個epoch下來雖然也同樣計(jì)算了m次梯度，但它只更新了一次。導(dǎo)致最后收斂是BGD所需要計(jì)算的樣本梯度次數(shù)遠(yuǎn)遠(yuǎn)大于SGD。
Mini-batch gradient descent
具體是指：在每一次迭代中，隨機(jī)選取若干個訓(xùn)練樣本（比如50個），使用上述梯度下降方法進(jìn)行參數(shù)優(yōu)化，多次迭代直到收斂。該方法的速度比BGD快，比SGD慢；精度比BGD低，比SGD高。
特征歸一化（Features Scaling）
上圖中的兩幅圖解釋了為什么需要做特征歸一化。這里以二維情形來舉例說明。如果的分布相差很大的話，會造成左圖的情形，損失函數(shù)就會很瘦長像一個橢圓一樣，這樣梯度下降的時候就會來回震蕩，效果很差。而如果歸一化之后，損失函數(shù)就會像一個圓一樣，這樣梯度下降就會好很多。
至于為什么損失函數(shù)在橢圓的時候梯度下降效果不好。可以這么理解，尺度小的一方可能早早達(dá)到了最優(yōu)解附近，但由于尺度大的變量還在緩慢優(yōu)化中，尺度小的只能來回震蕩，此時又會對尺度大的變量產(chǎn)生影響。還有一個原因就是尺度大的變量“路”比較遠(yuǎn)，更新的慢！
通常的做法是將它們縮放到一定到尺寸，如-1到1，這個數(shù)字并不是特別重要，如-3到3或者-1/3到1/3也是可以到。
另一種普遍到做法是進(jìn)行標(biāo)準(zhǔn)化，將數(shù)據(jù)標(biāo)準(zhǔn)化到0-1正態(tài)分布。也可以不除以標(biāo)準(zhǔn)差，因?yàn)闃?biāo)準(zhǔn)差到計(jì)算往往也比較費(fèi)時，可以直接用樣本的數(shù)值范圍來代替。我們叫做Mean normalization
?
線性回歸的在線學(xué)習(xí)算法采用的就是SGD的梯度下降方式。
多元線性回歸
在機(jī)器學(xué)習(xí)算法中，基于針對數(shù)據(jù)的非線性函數(shù)的線性模型是非常常見的，這種方法即可以像線性模型一樣高效的運(yùn)算，同時使得模型可以適用于更為廣泛的數(shù)據(jù)上，多元線性回歸就是這類算法中最為簡單的一個。
關(guān)于多元線性回歸的應(yīng)用，這里舉個非常簡單的例子:一般的線性回歸，模型既是參數(shù)的線性函數(shù)，同時也是輸入變量的線性函數(shù)，對于一個二維的數(shù)據(jù)而言，模型的數(shù)學(xué)表達(dá)式如下：
如果想要擬合一個拋物面，而不是擬合一個平面的話，那么就需計(jì)算輸入變量二次項(xiàng)的線性組合，則模型更新為下面這個形式：
注意：這里需要說明的是，更新后的模型，雖然是輸入變量的二次函數(shù)，但是，由于它仍然是參數(shù)的一次線性函數(shù)，所以它仍然是一個線性模型。為了說明這個問題，可以假設(shè)有一個新的變量，那么就可以將上面的模型重寫為下面的這個形式：
用向量替換向量的過程，相當(dāng)于一個特征變換或者叫做特征生成的過程，它將輸入特征的維度提高，但模型仍然是一個線性模型。
?
關(guān)于線性模型與非線性模型寫過一篇文章線性模型非線性模型，感知機(jī)與神經(jīng)網(wǎng)絡(luò)
總結(jié)
以上是生活随笔為你收集整理的【机器学习】线性回归之梯度下降、多元线性回归概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【机器学习】SVM基本线性可分与多分类
- 下一篇： 【机器学习】线性回归之Normal Eq