目錄

• 1.線性回歸的基本概念
• 2.線性回歸算法
• 3.多元梯度下降算法
• 4.總結(jié)

1.線性回歸的基本概念

在回歸分析中，如果只包含一個(gè)自變量和一個(gè)因變量，且二者關(guān)心可近似用一條直線表示，則稱該回歸分析為一元線性回歸分析。如果包含兩個(gè)及兩個(gè)以上的自變量，且因變量與自變量之間是線性關(guān)系，則稱該回歸分析為多元線性回歸分析。

2.線性回歸算法

設(shè)預(yù)測(cè)函數(shù)（目標(biāo)函數(shù)）為：

hθ(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

為了符號(hào)表示更方便，去x0=1，得到預(yù)測(cè)函數(shù)如下：

hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

將hθ(x)轉(zhuǎn)為向量表示：

令列向量 x = [x0;x1;x2;x3;x4]

令列向量 θ = [θ0;θ1;θ2;θ3;θ4]

則hθ(x) = θTx

即：hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4 = θTx (x0=1)

3.多元梯度下降算法

預(yù)測(cè)函數(shù)（目標(biāo)函數(shù)）： hθ(x) = θTx = θ0x0 + θ1x1 + θ2x2 + …+ θnxn (x0=1)

參數(shù)： θ0，θ1，θ2，…，θn

代價(jià)函數(shù)：

我們應(yīng)該清楚針對(duì)多元線性回歸，上面代價(jià)函數(shù)中的θ和x(i)都是n+1維向量。

梯度下降算法：

一定要同步更新θj，其中 j = 0,1,2,…n。
循環(huán)迭代，直至收斂，即可求得θj，按照此法求出所有的參數(shù)θ0，θ1，θ2，…，θn。

4.總結(jié)

對(duì)于很多現(xiàn)實(shí)中的數(shù)據(jù)，我們通過(guò)線性回歸也許不能很好的將其與訓(xùn)練樣本數(shù)據(jù)進(jìn)行擬合，我們可能需要非線性回歸得到更好的擬合。這種情況我們可以通過(guò)合理的更換特征要素，進(jìn)而將非線性回歸轉(zhuǎn)為線性回歸。

總結(jié)

以上是生活随笔為你收集整理的多元线性回归的梯度下降的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。