機器學習（1）--線性回歸和多項式擬合

機器學習（2）邏輯回歸 （數學推導及代碼實現）

機器學習（3）softmax實現Fashion-MNIST分類

一 線性回歸

線性回歸，顧名思義是利用線性模型對數據點進行擬合的，常見的廣義線性模型如下：

將上面的廣義向量模型用向量的形式表示出來如下：

其中

為向量。

最簡單也是最常見的線性回歸是最小二乘法

1.最小二乘法^[1]

最小二乘法是以均方誤差為回歸任務的性能度量，衡量預測值

和真實值 之間的差值。優化問題就可以用下式表示出來：

從字面上理解最小二乘法就是試圖找到一條直線，使所有樣本到直線上的歐幾里得距離之和最小。

這里有兩個參數需要我們求解

和 ,其中 為標量稱為偏置， 為向量，其維數對應數據的維數(即大數據中的特征個數)。求解這兩個參數的方法是對其求偏導。

令上式等于0得到w和b的最優解。

代碼實現：

（1）matlab代碼

一般的這類問題的求解思路就是找出損失函數，這里我們考慮一般的情況，一般情況下的損失函數為：

再求出梯度（即一階偏導），對于大多數問題是不能直接求出最大小值的，所以一般會用梯度下降法來求解，設置學習率

進行更新。

權重

的梯度：

偏置

的梯度：

得到了權重w和偏置b的梯度就可以用梯度下降法來求出合適的w和b了。更新公式如下：

一般初始化w和b全為1，

matlab代碼如下：

%隨機生成數據

（2）python--mxnet庫的常規實現^[2]

from

（3）python --mxnet庫的簡單實現

from

二 多項式擬合

前面的線性回歸是一種多元回歸問題，每個樣本對應于多個特征，在前面的例子中，特征之前的值相差不大，所以沒有做特征縮放，實際上嚴格的執行是需要特征縮放的因為有些特征值之間的量綱不同差距很大，如吳恩達的機器學習系類視頻中^[3]的例子，假設房屋的價格和房屋的面積及房屋的臥室數量有關，但是這兩個特征之間值相差很大，這個時候直接用上面的線性回歸時，將出現問題，所以必須進行特征縮放，一般特征縮放有兩種計算方式。

（1）Z-score normalization，量化后的特征將服從標準正態分布：

（2）Min-Max Scaling，特征量化：

在大部分的機器學習中用的比較多的時第一種量化方法。

多項式擬合是一種典型的需要特征縮放的例子，一般解決的是一元多項式的數據擬合問題，形如：

多項式擬合也可以看成一種多元線性擬合，將其看為有n個特征的多元線性擬合，

為一個特征， -為一個特征……。

當

時， , 。

對其進行縮放后利用線性擬合一樣的方法就能求出擬合曲線，matlab代碼如下：

function

結果如下：

參考

^周志華-機器學習（M）

^http://zh.d2l.ai/chapter_deep-learning-basics/linear-regression-scratch.html

^吳恩達機器學習?https://www.bilibili.com/video/av50747658/?p=22

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的java 多项式拟合最多的项数_机器学习（1）--线性回归和多项式拟合的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。