目錄

• 1.線性回歸的基本概念
• 2.線性回歸算法
• 3.多元梯度下降算法
• 4.總結

1.線性回歸的基本概念

在回歸分析中，如果只包含一個自變量和一個因變量，且二者關心可近似用一條直線表示，則稱該回歸分析為一元線性回歸分析。如果包含兩個及兩個以上的自變量，且因變量與自變量之間是線性關系，則稱該回歸分析為多元線性回歸分析。

2.線性回歸算法

設預測函數（目標函數）為：

hθ(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

為了符號表示更方便，去x0=1，得到預測函數如下：

hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

將hθ(x)轉為向量表示：

令列向量 x = [x0;x1;x2;x3;x4]

令列向量 θ = [θ0;θ1;θ2;θ3;θ4]

則hθ(x) = θTx

即：hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4 = θTx (x0=1)

3.多元梯度下降算法

預測函數（目標函數）： hθ(x) = θTx = θ0x0 + θ1x1 + θ2x2 + …+ θnxn (x0=1)

參數： θ0，θ1，θ2，…，θn

代價函數：

我們應該清楚針對多元線性回歸，上面代價函數中的θ和x(i)都是n+1維向量。

梯度下降算法：

一定要同步更新θj，其中 j = 0,1,2,…n。
循環迭代，直至收斂，即可求得θj，按照此法求出所有的參數θ0，θ1，θ2，…，θn。

4.總結

對于很多現實中的數據，我們通過線性回歸也許不能很好的將其與訓練樣本數據進行擬合，我們可能需要非線性回歸得到更好的擬合。這種情況我們可以通過合理的更換特征要素，進而將非線性回歸轉為線性回歸。

總結

以上是生活随笔為你收集整理的多元线性回归的梯度下降的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。