假設有如下數據

?

這些數據符合以下圖關系（以一維數據為例），這里的函數f(w)忽略了偏置b

?1 最小二乘估計

?????????我們的目標是要求w，使得Xw和實際值y最近。所以我們對w求導，讓結果等于0。就可以解得參數w???

?????

?????????以上未考慮偏置b，如果考慮的話則可以為w添加一個維度，同時也為x添加一個維度并使得添加的維度的值為1，然后使用同樣的求解方法即可。.

? ? ? ? 使用最小二乘法可以看成損失函數是每個樣本的誤差的平方的總和

?1.1 最小二乘估計的幾何解釋

????????一組向量的生成子空間（span）是原始向量線性組合后所能抵達的點的集合。

????????確定方程Ax=b是否有解，相當于確定列向量向量b是否在A列向量的生成子空間中。（x此時是線性組合的系數）

????????這個特殊的生成子空間被稱為A的列空間（column space）或者A的值域（range）。

?

?

?1.2 最小二乘法與極大似然估計

?

?

?可以看到最小二乘法與噪聲為高斯噪聲時的極大似然估計法是等價的。

1.3 一定是極小值嗎？?

見NTU課程 CE7454 線性回歸_UQI-LIUWJ的博客-CSDN博客?2.1

1.4?一定可逆嗎？

見?NTU課程 CE7454 線性回歸_UQI-LIUWJ的博客-CSDN博客?2.2

2 線性回歸基礎步驟

1，設計一個模型

以李宏毅機器學習中計算寶可夢cp值為例，我們先假設一組線性模型

?2，將預測結果與實際值進行比較

也就是設計一個損失函數loss function

?3 找到最好的模型

??????????我們評判模型的時候，不能光看在訓練集上的loss，我們要看的是在測試集上的loss，也就是它的泛化能力

4 加權線性回歸

損失函數變成：

（這里α是權重的對角矩陣）

?同樣地進行展開推導

?然后對w求偏導：

于是有：

?

?

總結

以上是生活随笔為你收集整理的机器学习笔记：线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。