線性回歸原理介紹

文章目錄

• 機(jī)器學(xué)習(xí)分類
• 線性回歸原理
• 線性回歸定義
• 線性回歸背后矩陣運(yùn)算

機(jī)器學(xué)習(xí)分類

機(jī)器學(xué)習(xí)的主要任務(wù)便是聚焦于兩個(gè)問題：分類和回歸

分類相信大家都不會(huì)陌生，生活中會(huì)見到很多的應(yīng)用，比如垃圾郵件識(shí)別、信用卡發(fā)放等等，就是基于數(shù)據(jù)集，作出二分類或者多分類的選擇

回歸會(huì)給出一個(gè)具體的結(jié)果，例如房價(jià)的數(shù)據(jù)，根據(jù)位置、周邊、配套等等這些維度，給出一個(gè)房價(jià)的預(yù)測

機(jī)器學(xué)習(xí)在不同的維度會(huì)有不同的劃分，最普遍的劃分大致可以分為監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)

監(jiān)督學(xué)習(xí)的數(shù)據(jù)集擁有既定的標(biāo)簽，即訓(xùn)練的數(shù)據(jù)集已經(jīng)有了某種特定的屬性，例如醫(yī)院有很多病人的數(shù)據(jù)，可以根據(jù)患者的數(shù)據(jù)進(jìn)行病情的鑒定、銀行有很多人的信用信息，根據(jù)這些信息可以判定申請人的信用程度等等。

非監(jiān)督學(xué)習(xí)的數(shù)據(jù)集沒有任何既定標(biāo)簽，完全讓算法去分析這些數(shù)據(jù)，找出一些特殊情況，大多數(shù)聚類算法都是非監(jiān)督學(xué)習(xí)。

半監(jiān)督學(xué)習(xí)，雖然數(shù)據(jù)集有既定標(biāo)簽，但是有時(shí)候有些數(shù)據(jù)會(huì)有缺失，例如銀行信用體系中，有些人的年齡數(shù)據(jù)缺失、有些人性別數(shù)據(jù)缺失等等。

增強(qiáng)學(xué)習(xí)，即根據(jù)當(dāng)下的環(huán)境不斷的去學(xué)習(xí)，不斷的發(fā)現(xiàn)數(shù)據(jù)集，不斷的訓(xùn)練自己，例如阿爾法狗以及無人駕駛等，都是增強(qiáng)學(xué)習(xí)的應(yīng)用。

線性回歸原理

下面的數(shù)據(jù)很容易獲得房屋面積與價(jià)格之間的關(guān)系面積 * 2.1 = 價(jià)格，在二維的線性關(guān)系公式為：y = kx + b 添加b是為了單個(gè)特征的情況更通用，例如x=0時(shí)y可以不經(jīng)過原點(diǎn)

如果是多個(gè)特征例如房子重要的兩個(gè)參數(shù) 面積，位置。那么多特征公式為：k1房子面積 + k2房子位置 + b

線性回歸定義

線性回歸通過一個(gè)或者多個(gè)自變量與因變量之間進(jìn)行建模的回歸分析，其中可以為一個(gè)或者多個(gè)自變量之間的線性組合

一元線性回歸：涉及到的變量只有一個(gè)

多元線性回歸：涉及到的變量兩個(gè)或者兩個(gè)以上

線性回歸背后矩陣運(yùn)算

矩陣乘法必須滿足特定條件：(m行,L列) * (L行,n列) = (m行,n列), 矩陣的乘法背后的業(yè)務(wù)邏輯就是多元線性回歸的公式

sklearn機(jī)器學(xué)習(xí)框架

文章目錄

• sklearn庫簡介
• Sklearn體系結(jié)構(gòu)
• 加載數(shù)據(jù)
• 區(qū)分測試集訓(xùn)練集

sklearn庫簡介

Scikit learn 也簡稱 sklearn, 是機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)中最知名的 python 模塊之一

Classification 分類

Regression 回歸

Clustering 非監(jiān)督分類

Dimensionality reduction 數(shù)據(jù)降維

Model Selection 模型選擇

Preprocessing 數(shù)據(jù)預(yù)處理

Sklearn體系結(jié)構(gòu)

分類和回歸是監(jiān)督式學(xué)習(xí)，即每個(gè)數(shù)據(jù)對應(yīng)一個(gè) label。

聚類 是非監(jiān)督式學(xué)習(xí)，即沒有 label。

另外一類是 降維，當(dāng)數(shù)據(jù)集有很多很多屬性的時(shí)候，可以通過 降維 算法把屬性歸納起來。例如 20 個(gè)屬性只變成 2 個(gè)，注意，這不是挑出 2 個(gè)，而是壓縮成為 2 個(gè)，它們集合了 20 個(gè)屬性的所有特征，相當(dāng)于把重要的信息提取的更好，不重要的信息就不要了。

加載數(shù)據(jù)

通過pandas可以很方便加載csv，excel，sql，html，json中的數(shù)據(jù)，加載成功默認(rèn)保存為DataFrame對象。

區(qū)分測試集訓(xùn)練集

線性回歸極簡案例

文章目錄

• 使用模型的步驟
• 訓(xùn)練本質(zhì)就是找權(quán)重與偏置
• 測試集與絕對值誤差

使用模型的步驟

Sklearn 把所有機(jī)器學(xué)習(xí)的模式整合統(tǒng)一起來了，學(xué)會(huì)了一個(gè)模式就可以通吃其他不同類型的學(xué)習(xí)模式

導(dǎo)入模塊

讀入數(shù)據(jù)

建立模型

訓(xùn)練與測試

訓(xùn)練本質(zhì)就是找權(quán)重與偏置

測試集與絕對值誤差

線性回歸的缺點(diǎn)

文章目錄

• 單項(xiàng)式缺點(diǎn)
• 構(gòu)建單項(xiàng)式回歸
• 單項(xiàng)式缺點(diǎn)

y = wx + b 這種單項(xiàng)式在數(shù)學(xué)模型中表示一根直線，但是生產(chǎn)環(huán)境中很多的數(shù)據(jù)例如股票，銷售漲跌它都是曲線結(jié)構(gòu)的，這就會(huì)導(dǎo)致單項(xiàng)式的線性回歸預(yù)測率低

構(gòu)建單項(xiàng)式回歸

大家可以看到，單項(xiàng)式線性回歸在可視化中生成的就是一條直線，直線的情況下預(yù)測曲線的真實(shí)數(shù)據(jù)是非常低的，因此一章節(jié)我們就來看如何采用多項(xiàng)式預(yù)測曲線數(shù)據(jù)

手寫多項(xiàng)式回歸

文章目錄

• 多項(xiàng)式回歸場景
• 創(chuàng)建待分析的樣本
• 多項(xiàng)式預(yù)測樣本

多項(xiàng)式回歸場景

直線回歸研究的是一個(gè)依變量與一個(gè)自變量之間的回歸問題，但是，在畜禽、水產(chǎn)科學(xué)領(lǐng)域的許多實(shí)際問題中，影響依變量的自變量往往不止一個(gè)，而是多個(gè)，比如綿羊的產(chǎn)毛量這一變量同時(shí)受到綿羊體重、胸圍、體長等多個(gè)變量的影響，因此需要進(jìn)行一個(gè)依變量與多個(gè)自變量間的回歸分析，即多元回歸分析

研究一個(gè)因變量與一個(gè)或多個(gè)自變量間多項(xiàng)式的回歸分析方法，稱為多項(xiàng)式回歸(Polynomial Regression)。如果自變量只有一個(gè)時(shí)，稱為一元多項(xiàng)式回歸；如果自變量有多個(gè)時(shí)，稱為多元多項(xiàng)式回歸。在一元回歸分析中，如果依變量y與自變量x的關(guān)系為非線性的，但是又找不到適當(dāng)?shù)暮瘮?shù)曲線來擬合，則可以采用一元多項(xiàng)式回歸

一元m次多項(xiàng)式回歸方程為：

二元二次多項(xiàng)式回歸方程為：

創(chuàng)建待分析的樣本

多項(xiàng)式預(yù)測樣本

總結(jié)

以上是生活随笔為你收集整理的opencv机器学习线性回归_Python机器学习之?线性回归入门（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。