參考資料：

http://blog.csdn.net/zlbflying/article/details/48134955

http://www.tuicool.com/articles/MRbee2i

http://www.tuicool.com/topics/11020131

?線性回歸求價值函數最小，即求以權值為變量的函數的最小值。理論上可用最小二乘法，但其因需要求導，計算機一般無法完成，所以用牛頓法或梯度下降法求解。

梯度下降法可推導出下降最快的方向，通過該方向來更新參數值。

• 推導出的方向每次更新時用到了所有的樣本——批處理梯度下降算法，可用得到全局最優解，但運算量大
• 因此可用每次更新時只用一個樣本來更新參數——隨機梯度下降算法，減少運算量，但可能在某些樣本點使參數更新劇烈變化

?

?

線性回歸，假設函數

價值函數

梯度下降法求價值函數的參數：步長（學習率）、梯度、迭代

?

轉載于:https://www.cnblogs.com/z-sm/p/4924491.html

總結

以上是生活随笔為你收集整理的线性回归与梯度下降法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。