Probabilistic interpretation

我們應該想這樣一個問題：當我們討論回歸問題時，我們?yōu)槭裁匆钚』椒綋p失函數(shù)？在CS229的課程中，吳恩達教授給我們做了詳細的概率解釋。現(xiàn)總結(jié)如下：?
對單個樣本來說：?

其中? 為預測誤差，我們假定樣本的誤差屬于獨立同分布。?

根據(jù)中心極限定理：多個隨機變量的和符合正態(tài)分布；因為誤差的隨機性，?符合均值為0，方差為? 的正態(tài)分布，即假定??,因此：?

上述第2個等式表明，在給定?, ?的條件下，?符合正態(tài)分布，且均值為?,方差為?,即?

注意，這里不等同于，前者默認為是一個固定的值，一個本身就存在的最佳參數(shù)矩陣；而后者認為是一個變量（統(tǒng)計學中frequentist和Bayesian的差別）。

此時，我們已知了y的概率分布，因為? 是獨立同分布的，所以每個樣本的輸出y也是獨立同分布的。那么就可以用極大似然估計（MLE）來估計。似然函數(shù)為?

似然函數(shù)取對數(shù)可得

可以看出，MLE的最終結(jié)果就是要最小化

這恰好就是我們的cost function。

對對數(shù)似然函數(shù)求導可得：

易得：(具體的推導可參見Normal Equation)

這不就是我們用Normal Equation得出的結(jié)論嗎！（Normal Equation）

得到的估計之后，我們再來估計一下，先暫記，則：

解得：

至此，我們已經(jīng)估計得到了和，所以我們可以得到之前的概率分布模型的確切表達式。

有了這個模型，對于輸入就可以很容易的得到對于的，及其概率，以及置信區(qū)間等。

?

?

關(guān)于概率解釋還有幾點可以寫。

正則項的貝葉斯先驗解釋

下次有時間補上

?

局部加權(quán)線性回歸（Locally Weighted Linear Regression,LWLR）

LWLR算法是一個non-parametric（非參數(shù)）學習算法，而線性回歸則是一個parametric（參數(shù)）學習算法。

所謂參數(shù)學習算法它有固定的明確的參數(shù)，參數(shù)一旦確定，就不會改變了，我們不需要在保留訓練集中的訓練樣本。

而非參數(shù)學習算法，每進行一次預測，就需要重新學習一組，是變化的，所以需要一直保留訓練樣本。也就是說，當訓練集的容量較大時，非參數(shù)學習算法需要占用更多的存儲空間，計算速度也較慢。

先介紹這個概念是因為LWLR由于是非參數(shù)的學習算法，所以訓練的方式與傳統(tǒng)的線性回歸有點區(qū)別。LWLR并不進行預先訓練，而是當每次需要預測新樣本點的時候才開始訓練整體樣本。LWLR的核心思想就是，與新樣本點相關(guān)度高的（距離近的）樣本起到的權(quán)重大，相關(guān)度低的起到的作用很小。

---

首先我們來看一個線性回歸的問題，在下面的例子中，我們選取不同維度的特征來對我們的數(shù)據(jù)進行擬合。

對于上面三個圖像做如下解釋：

選取一個特征，來擬合數(shù)據(jù)，可以看出來擬合情況并不是很好，有些數(shù)據(jù)誤差還是比較大。

針對第一個，我們增加了額外的特征，，這時我們可以看出情況就好了很多。

這個時候可能有疑問，是不是特征選取的越多越好，維度越高越好呢？所以針對這個疑問，如最右邊圖，我們用五階多項式使得數(shù)據(jù)點都在同一條曲線上，為。此時它對于訓練集來說做到了很好的擬合效果，但是，我們不認為它是一個好的假設，因為它不能夠做到更好的預測（過擬合）。

針對上面的分析，我們認為第二個是一個很好的假設，而第一個圖我們稱之為欠擬合（underfitting），而最右邊的情況我們稱之為過擬合（overfitting）

所以我們知道特征的選擇對于學習算法的性能來說非常重要，所以現(xiàn)在我們要引入局部加權(quán)線性回歸，它使得特征的選擇對于算法來說沒那么重要，也就是更隨性了。

?

在我們原始的線性回歸中，對于輸入變量，我們要預測，通常要做：

?

而對于局部加權(quán)線性回歸來說，我們要做：

為權(quán)值，從上面我們可以看出，如果很大，那么該樣本點所產(chǎn)生的平方誤差的影響就很大，所以如果很小，則它所產(chǎn)生的影響也就很小。

通常我們選擇的形式如下所示：

上式中參數(shù)為新預測的樣本特征數(shù)據(jù)，它是一個向量，參數(shù)控制了權(quán)值變化的速率，和的圖像如下

可以看到（感覺這幅圖并不太好，雖然大致的意思（分布上）表達出來了）

（1）如果，則。

（2）如果，則。

也即，離很近的樣本，權(quán)值接近于1，而對于離很遠的樣本，此時權(quán)值接近于0，這樣就是在局部構(gòu)成線性回歸，它依賴的也只是周邊的點。

圖中紅色直線使用線性回歸做的結(jié)果，黑色直線使用LWR做的結(jié)果，可以看到局部加權(quán)回歸的效果較好。

參數(shù)τ控制權(quán)重函數(shù)的寬度，τ越大，權(quán)重函數(shù)越寬，也就是下降越慢，τ越小，則對于距離越敏感：

總結(jié)

這個模型相對比較簡單，雖然可以在一定程度上解決欠擬合的問題，但有相當明顯的缺陷。?

當數(shù)據(jù)量比較大的時候，存儲量比較大，計算量比較大，代價較大。?

每次進來新的x時，需要重新根據(jù)訓練數(shù)據(jù)得到局部加權(quán)回歸模型。?

不一定能夠解決under-fitting的問題

參考文章：

線性回歸及其概率解釋

線性回歸概率解釋(Linear Regression)

總結(jié)

以上是生活随笔為你收集整理的【机器学习】线性回归之概率解释及局部加权线性回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。