梯度下降法（一）入門 2012-12-11 13:14 22981人閱讀 評論(12) 收藏 舉報 本文章已收錄于： 分類： 【算法】（27） 作者同類文章X

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

梯度下降法是一個一階最優化算法，通常也稱為最速下降法。我之前也沒有關注過這類算法。最近，聽斯坦福大學的機器學習課程時，碰到了用梯度下降算法求解線性回歸問題，于是看了看這類算法的思想。今天只寫了一些入門級的知識。

我們知道，函數的曲線如下：

編程實現：c++ code

[cpp] view plaincopyprint?

/*?

?*?@author:鄭海波?

?*?blog.csdn.net/nuptboyzhb/?

?*?2012-12-11?

?*/??

#include?<iostream>??

#include?<math.h>??

using?namespace?std;??

int?main()??

{??

????double?e=0.00001;//定義迭代精度??

????double?alpha=0.5;//定義迭代步長??

????double?x=0;//初始化x??

????double?y0=x*x-3*x+2;//與初始化x對應的y值??

????double?y1=0;//定義變量，用于保存當前值??

????while?(true)??

????{??

????????x=x-alpha*(2.0*x-3.0);??

????????y1=x*x-3*x+2;??

????????if?(abs(y1-y0)<e)//如果2次迭代的結果變化很小，結束迭代??

????????{??

????????????break;??

????????}??

????????y0=y1;//更新迭代的結果??

????}??

????cout<<"Min(f(x))="<<y0<<endl;??

????cout<<"minx="<<x<<endl;??

????return?0;??

}??

//運行結果??

//Min(f(x))=-0.25??

//minx=1.5??

//Press?any?key?to?continue??

/** @author:鄭海波* blog.csdn.net/nuptboyzhb/* 2012-12-11*/ #include <iostream> #include <math.h> using namespace std; int main() {double e=0.00001;//定義迭代精度double alpha=0.5;//定義迭代步長double x=0;//初始化xdouble y0=x*x-3*x+2;//與初始化x對應的y值double y1=0;//定義變量，用于保存當前值while (true){x=x-alpha*(2.0*x-3.0);y1=x*x-3*x+2;if (abs(y1-y0)<e)//如果2次迭代的結果變化很小，結束迭代{break;}y0=y1;//更新迭代的結果}cout<<"Min(f(x))="<<y0<<endl;cout<<"minx="<<x<<endl;return 0; } //運行結果 //Min(f(x))=-0.25 //minx=1.5 //Press any key to continue
問題：

迭代步長alpha為什么要選擇0.5？？選擇其他的值可以嗎？它的取值與迭代的次數、收斂性及結果的準確性有何關系？如果選擇alpha的值？下次好好的探討。

? 轉載請聲明：http://blog.csdn.net/nuptboyzhb/article/details/8281923

總結

以上是生活随笔為你收集整理的梯度下降法（一）入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。