机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
目錄
一、線性回歸基礎理論
1、定義與公式
2、線性關系（單特征與雙特征）
2-1、單特征線性關系
2-2、雙特征平面關系
2-3、其他線性模型
二、線性回歸的損失和優化原理
1、損失函數
1、定義
2、公式
3、損失函數舉例
2、損失函數 -- 最小二乘法
2、優化方法：
2-1、正規方程?
1、公式
2、原理
2-2、梯度下降
1、單特征
2、雙特征
3、梯度下降過程（單特征）
?4、梯度下降過程（雙特征）
3、正規方程與梯度下降優缺點對比
三、回歸性能評估（均方差）
公式
API
一、線性回歸基礎理論
1、定義與公式
定義：
線性回歸：利用回歸方程，對一個或多個自變量（特征值）和因變量（目標值）之間關系進行建模的一種分析方式。
線性關系公式?：
?
權重系數：w
偏置：b?
2、線性關系（單特征與雙特征）
2-1、單特征線性關系
2-2、雙特征平面關系
?
2-3、其他線性模型
（該圖是線性模型，但不是線性關系）
?
二、線性回歸的損失和優化
盡可能讓假定的參數貼近真實的參數，越貼近，結果越準確。
1、損失函數
1、定義
????????損失函數（loss function）：是用來估量模型的預測值f(x)與真實值Y的不一致程度，它是一個非負實值函數，通常使用L(Y, f(x))來表示，損失函數越小，模型的魯棒性就越好。
2、公式
其中，前面的均值函數表示的是經驗風險函數，L代表的是損失函數，后面的ΦΦ是正則化項（regularizer）或者叫懲罰項（penalty term），它可以是L1，也可以是L2，或者其他的正則函數。整個式子的目的：找到使目標函數最小時的θ值（損失最小的情況）。
3、損失函數舉例
1、log對數損失函數（邏輯回歸）
2、平方損失函數（最小二乘法）
3、指數損失函數（Adaboost）
4、Hinge損失函數（SVM）
5、0-1損失函數
6、絕對值損失函數
4、損失函數 -- 最小二乘法
?
2、優化方法：
優化目的：讓損失函數取得最小值。
優化方法：
1、正規方程；
2、梯度下降。
2-1、正規方程?
1、公式
?
2、原理
優點：不需要試錯，可以直接取得最小值，比較快捷。
缺點：當特征過于復雜時，求解速度太慢且得不到結果。
適用于：小數據場景。（梯度下降相對用的更多一些）
2-2、梯度下降
機器學習的過程類似于梯度下降：根據上一步的“錯誤”，不斷學習改進，才有了學習能力。
1、單特征
從上面比較高的位置，一點一點移動到最低點：?
?
2、雙特征
?
求出最小的損失值后，它的權重和偏置就是需要求的模型參數。
?
3、梯度下降過程（單特征）
?
?
?4、梯度下降過程（雙特征）
?
3、正規方程與梯度下降優缺點對比
小規模數據：正規方程、嶺回歸。
大規模數據：梯度下降。
三、回歸性能評估（均方差）
回歸性能評估方式：求均方差，均方差較小的那個模型效果較好。
公式
（y^i為預測值，y為真實值）
API
sklearn.metrics.mean_squared_error總結
以上是生活随笔為你收集整理的机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 机器学习（10）随机森林（预测泰坦尼克号
- 下一篇： 机器学习（11）线性回归（2）实战 --