文章目錄

• • 1. 前言
  • 2. 什么是回歸
  • 3. 什么是線性
  • 4. 什么是線性回歸
  • 5. 百度百科+維基百科
  • 6. 一元線性回歸
  • 7. 損失函數
  • 8. 梯度下降

------【機器學習第1天：線性回歸（代碼篇）】------

---

1. 前言

在上篇文章（線性回歸-代碼篇）中我們實現了用線性歸回模型預測鳶尾花的花瓣寬度，上一篇更側重代碼的實現。在這篇文章中，我們會把重心放到理論知識上面。

2. 什么是回歸

回歸的目的是為了預測，比如上一篇文章中通過花瓣長度預測花瓣寬度

回歸之所以能預測是因為它通過大量的花瓣長度與寬度數據，“弄懂了”花瓣長度與寬度之間的線性關系，在這個基礎之上就可以通過花瓣長度預測花瓣寬度了。

3. 什么是線性

線性就是關系可以用線性方程來表示，通過一個或多個變量來表示另外一個變量。

通俗的說符合“越…，越…”這種說法的可能就是線性關系，比如

• “房子”越大，“租金”就越高
• “漢堡”買的越多，花的“錢”就越多
• 杯子里的“水”越多，“重量”就越大

但是也并非所有“越…，越…”都是線性的，比如“彈簧的彈力與位移的關系”，

4. 什么是線性回歸

通過兩個或多個變量之間的線性關系來預測結果。

通過鳶尾花的花瓣長度與寬度的線性關系來預測花瓣寬度，通過杯子里水的體積就可以知道（預測）水的重量

5. 百度百科+維基百科

百度百科：

線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法，運用十分廣泛。其表達形式為y = w’x+e，e為誤差服從均值為0的正態分布。

回歸分析中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關系，則稱為多元線性回歸分析。

維基百科：

在統計學中，線性回歸是一種線性方法，用于建模標量響應（或因變量）與一個或多個解釋變量（或獨立變量）之間的關系。一個解釋變量的情況稱為簡單線性回歸。對于多個解釋變量，該過程稱為多元線性回歸。該術語不同于多元線性回歸，其中預測了多個相關因變量，而不是單個標量變量。

6. 一元線性回歸

一個簡單的監督學習任務可以表示為，給定N個兩兩數據對，使用某種機器學習模型對其進行建模，得到一個模型。X為特征（feature），Y為真實值（label）。

例如，花瓣長度為特征(X)，花瓣寬度為真實值(Y)。可以比較直觀的看出花瓣寬度與花瓣寬度存在一個線性關系，針對這個數據集，可以使用一個最簡單的機器學習模型——一元線性回歸。

一個元一次方程，對的。我們只需要給模型喂數據，然后通過一系列計算得到參數θ，隨即就可以通過X的值推算出Y的值，即通過鳶尾花的花瓣長度推斷出花瓣寬度。

那么問題來了，當我們選擇不同的θ值時，會得到不同直線。那么如何選擇θ的值使得我們得到的直線更好的擬合數據呢？

7. 損失函數

為了解決這個問題，機器學習中引入了損失函數（loss function）這個概念，損失函數又稱為代價函數（cost function）它計算用于模型預測值?和真實值y之間的差異程度。損失函數的值越大，模型越差。

在線性回歸中，損失函數最常用的計算方法是均方誤差(Mean squared error)計算法，具體形式為：

• m：訓練樣本的個數；
• hθ(x)：用參數θ和x預測出來的y值；
• i：第i個樣本

接下來就需要通過調整θ來尋找J的最小值。

8. 梯度下降

如何調整函數的參數使擬合程度達到最佳（即尋找J的最小值）呢？

人工手動調試θ是肯定不行的太耗時間，而且結果不一定讓我們滿意。這時引入了梯度下降的概念找出J的最小值。

梯度下降原理：將函數比作一座山，我們站在某個山坡上，往四周看，從哪個方向向下走一小步，能夠下降的最快。

這里僅僅提出梯度下降這個概念，到后面我再展開將，貪多嚼不爛，慢慢來走得更快。

（文中部分圖片來源于網絡，侵刪。）

如有錯誤歡迎指教，有問題的也可以加入QQ群（1149530473）向我提問，關注微信公眾號（明天依舊可好）和我同步學習。

總結

以上是生活随笔為你收集整理的线性回归的概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。