• • • 一、多元線性回歸
    • 二、正則化防止過擬合
    • 三、非線性回歸：多項(xiàng)式回歸
      • • 3.1 回歸模型評(píng)估指標(biāo)
    • 四、決策樹（分類回歸樹）分類標(biāo)準(zhǔn)
    • 五、相關(guān)和回歸
      • • 5.1 相關(guān)和回歸的關(guān)系
        • 5.2 線性相關(guān)性度量：皮爾遜相關(guān)系數(shù)
    • 六、一元線性回歸
      • • 6.1 一元線性回歸模型
    • 七、課程總結(jié)

一、多元線性回歸

多元線性回歸示例：

y=b+a1?x1+a2?x2+???+an?xn y = b + a 1 ? x 1 + a 2 ? x 2 + · · · + a n ? x n

房價(jià)預(yù)測(cè)案例： 多重共線性（Multicollinearty）:是指線性回歸模型中的 解釋變量（X）之間由于存在高度相關(guān)關(guān)系而使模型估計(jì)失真或難以估計(jì)準(zhǔn)確 多重共線性的影響:上述模型參數(shù)（$a_1,a_2...$）估值不準(zhǔn)，有時(shí)候會(huì)導(dǎo)致出現(xiàn)相關(guān)性反轉(zhuǎn)。如何發(fā)現(xiàn)多重共線性對(duì)X變量探索兩兩之間的相關(guān)性（相關(guān)矩陣）逐步回歸概念是一種多元回歸模型進(jìn)行變量篩選的方法，篩選最少的變量來獲取最大化預(yù)測(cè)能力 三種方法：向前選擇法向后剔除法逐步回歸法

二、正則化防止過擬合

L2正則化–嶺回歸 Ridge Regression

min∑i=1n(Yi?Yi^)=min∑i=1nε^2i m i n ∑ i = 1 n ( Y i ? Y i ^ ) = m i n ∑ i = 1 n ε ^ i 2
在最小化殘差平方和的基礎(chǔ)上，增加L2范數(shù)的懲罰項(xiàng)：
∑i=1n(yi?β0?∑j=1pβjxij)2+λ∑j=1pβ2j=RSS+λ∑j=1pβ2j ∑ i = 1 n ( y i ? β 0 ? ∑ j = 1 p β j x i j ) 2 + λ ∑ j = 1 p β j 2 = R S S + λ ∑ j = 1 p β j 2

L1正則化–lasso回歸

min∑i=1n(Yi?Yi^)=min∑i=1nε^2i m i n ∑ i = 1 n ( Y i ? Y i ^ ) = m i n ∑ i = 1 n ε ^ i 2
在最小化殘差平方和的基礎(chǔ)上，增加L1范數(shù)的懲罰項(xiàng)：
∑i=1n(yi?β0?∑j=1pβjxij)2+λ∑j=1p|βj|=RSS+λ∑j=1p|βj| ∑ i = 1 n ( y i ? β 0 ? ∑ j = 1 p β j x i j ) 2 + λ ∑ j = 1 p | β j | = R S S + λ ∑ j = 1 p | β j |

三、非線性回歸：多項(xiàng)式回歸

方法：

非線性回歸的轉(zhuǎn)換——取對(duì)數(shù)

多項(xiàng)式回歸代碼實(shí)現(xiàn)： sklearn.preprocession.PolynomialFeatures(degree = 2, #階數(shù)interaction_only = False,include_bias = True) sklearn.linear_model.LinearRegression(fit_intercept = True,noemalize = False,copy_X = True)

3.1 回歸模型評(píng)估指標(biāo)

解釋方差（Explianed variance score）：

Explianed_variance(y,y^)=1?Var{y?y^}Var{y} E x p l i a n e d _ v a r i a n c e ( y , y ^ ) = 1 ? V a r { y ? y ^ } V a r { y }

絕對(duì)平均誤差（Mean absolute error）：

MAE(y,y^)=1nsamplies∑i=0nsamplies?1|yi?y^| M A E ( y , y ^ ) = 1 n s a m p l i e s ∑ i = 0 n s a m p l i e s ? 1 | y i ? y ^ |

均方誤差（Mean squared error）：

MSE(y,y^)=1nsamplies∑i=0nsamplies?1(yi?y^)2 M S E ( y , y ^ ) = 1 n s a m p l i e s ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y ^ ) 2

決定系數(shù)（ R2 R 2 score）

R2(y,y^)=1?∑nsamplies?1i=0(yi?yi^)2∑nsamplies?1i=0(yi?yˉ)2 R 2 ( y , y ^ ) = 1 ? ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y i ^ ) 2 ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y ˉ ) 2

代碼： sklearn.metrics from sklearn.metrics import explained_variance_score explained_variance_score(y_true,y_pred)from sklearn.metrics import mean_absolute_error mean_absolute_error(y_true,y_pred)from sklearn.metrics import mean_squared_error mean_squared_error(y_true,y_pred)from sklearn.metrics import r2_score r2_score(y_true,y_pred)

四、決策樹（分類回歸樹）分類標(biāo)準(zhǔn)

>
Gain(A) = Variance(父) - Variance(子) #Gain(A)信息增益

五、相關(guān)和回歸

5.1 相關(guān)和回歸的關(guān)系

都是研究變量相互關(guān)系的分析方法相關(guān)分析是回歸分析基礎(chǔ)和前提，回歸分析是變量之間相關(guān)程度的具體形式相關(guān)分析：正相關(guān),負(fù)相關(guān)相關(guān)形式: 線性, 非線性

>

5.2 線性相關(guān)性度量：皮爾遜相關(guān)系數(shù)

r=∑ni=1(xi?xˉ)(yi?yˉ)∑ni=1(xi?xˉ)2???????????√∑ni=1(yi?yˉ)2???????????√ r = ∑ i = 1 n ( x i ? x ˉ ) ( y i ? y ˉ ) ∑ i = 1 n ( x i ? x ˉ ) 2 ∑ i = 1 n ( y i ? y ˉ ) 2

相關(guān)VS回歸:

六、一元線性回歸

6.1 一元線性回歸模型

尋找最佳擬合直線：最小二乘法

該方法是尋找最佳擬合直線的參數(shù)（斜率和截距）
min∑i=1n(Yi?Yi^)2=min∑i=1nεi^2 m i n ∑ i = 1 n ( Y i ? Y i ^ ) 2 = m i n ∑ i = 1 n ε i ^ 2
參數(shù)估計(jì) 回歸表達(dá)式： Yi^=β0^+β1^xi Y i ^ = β 0 ^ + β 1 ^ x i

斜率:??????β1^=SSxySSxx=∑(xi?xˉ)yi?yˉ)∑(xi?xˉ)2 斜 率 : β 1 ^ = S S x y S S x x = ∑ ( x i ? x ˉ ) y i ? y ˉ ) ∑ ( x i ? x ˉ ) 2
截距:????????β0^=yˉ?β1^xˉ????????????????????????????????? 截 距 : β 0 ^ = y ˉ ? β 1 ^ x ˉ

七、課程總結(jié)

分類與回歸 區(qū)別與聯(lián)系 相似之處：都是有監(jiān)督學(xué)習(xí)最重要的兩種預(yù)測(cè)模型決策樹既可以分類 也可以做回歸二元分類模型的經(jīng)典算法邏輯回歸算法，本質(zhì)上也是一種回歸算法區(qū)別：回歸目標(biāo)變量是連續(xù)型變量分類目標(biāo)變量是類別型變量常見的餓回歸算法和模型1 基于最小二乘法的一元/多元線性回歸2 多項(xiàng)式回歸（非線性）3 Ridge 回歸（L2正則化回歸），嶺回歸4 Lasso 回歸（L1正則化回歸），套索回歸5 決策樹（CART，分類回歸樹）6 邏輯回歸

總結(jié)

以上是生活随笔為你收集整理的回归模型-评估指标的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。