目錄

1）Model representation

2）Cost function

3）Cost function intuition 1

4）Cost function intuition2

5）Gradient descent

6）Gradient descent intuition

7）Gradient descent for linear regression

---

現在我們來開始學習第一個算法：線性回歸算法

1）Model representation

來看一個預測住房價格的例子，這是典型的監督學習，回歸問題是預測連續值，分類問題是預測離散值。

現在來介紹一下我們對在機器學習中用到的標記/符號定義：

• m 為訓練集中樣本的數量；
• x 代表輸入特征/輸入變量；
• y 代表輸出特征/輸出變量；
• （x，y）代表訓練集的一個實例；
• （x(i)，y(i)）代表第i個觀察實例；

下圖是我們一個監督學習算法的工作方式，h代表學習算法的解決方案也稱為假設（hypothesis）。右邊為我們假設的表達方式，因為只有一個輸入變量，這個問題叫做單變量線性回歸問題。

2）Cost function

現在我們將定義代價函數的概念，我們已經有了線性回歸模型，我們要做的就是為我們的模型選擇合適的參數，使我們的代價函數最小，我們選擇平方誤差代價函數，對于大多數回歸問題，這都是一個合理的選擇。

3）Cost function intuition 1

下面是我們之前定義的代價函數及簡化版：

下圖說明了代價函數隨參數變化的情況，當參數為1時代價最小。

4）Cost function intuition2

我們先看看我們之前的假設、代價函數和我們的目標：

我們繪制代價函數的三維圖：

而我們的目標是找出代價函數的最小值，如圖所示，即等高線圖中心點對應的參數：

5）Gradient descent

我們將使用梯度下降求函數最小值，梯度下降我們會多次用到，無論是機器學習還是深度學習。

下面是我們梯度下降的思想：

隨機選取參數值，計算代價函數值，然后尋找下一個能讓代價函數值下降最多的參數，我們持續這么做直到找到全局最小值。

下面是梯度算法的公式，需要提醒的是，我們需要同時更新參數值，左邊為正確公式。

6）Gradient descent intuition

前面我們介紹了梯度下降數學上的定義：

下圖說明了，為什么梯度下降會得到代價函數的最小值，我們每次都沿著梯度下降最快的方向進行。

我們來看看梯度下降中，學習率的作用，它會決定我們下降的速度：

7）Gradient descent for linear regression

回顧一下之前我們定義的梯度下降算法和線性回歸模型：

現在對線性回歸問題運用梯度下降算法：

同步更新參數，多次迭代我們得到了代價函數的最小值。

這里我們運用了批量梯度下降，每一步我們都對所有訓練樣本進行計算。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的机器学习笔记（2）：单变量线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。