一直以來，總是覺得國(guó)外的PhD們的教育以及課程的安排很好很強(qiáng)大，雖然是說很累作業(yè)多工作量大，但是功率大了，效果好點(diǎn)兒，浪費(fèi)的時(shí)間也少，年輕人哪有怕苦怕累的。比比身邊好多每天睡超過12小時(shí)的研究生們，不知道是誰(shuí)更幸福一點(diǎn)兒。

我也經(jīng)常拿我所在的大學(xué)的研究生博士跟自己所了解的美國(guó)那邊的phd比比，說實(shí)話感覺總是有點(diǎn)硬性的差距在里面。我所處在大學(xué)的研究生教育，就拿安排的課程來說，覺得真是有用的不多，雖然也有一些好課，但是鑒于教學(xué)質(zhì)量的問題，往往又起不到好的效果，最重要的是，這里的學(xué)生真是太輕松安逸了，不會(huì)有有用的作業(yè)，也不會(huì)有作業(yè)讓你熬夜計(jì)算或者coding，也不會(huì)有作業(yè)讓你在圖書館過夜，圖書館，哎，也是在按時(shí)上下班。

國(guó)外大牛的課程設(shè)計(jì)的也不錯(cuò)，拿美女教授Kristen Grauman舉個(gè)例子，你可以去看看她得研究生以及本科的課程，看著都羨慕啊，是吧。Andrew Ng的課也不用說了，還有很多很多自身修養(yǎng)不錯(cuò)的老師的課設(shè)計(jì)的都不錯(cuò)。及時(shí)你對(duì)這個(gè)方向開始不是很懂，那么這一門課下來，讀了這么多論文以及寫了這么多作業(yè)和coding，加上一門課所輻射的一個(gè)領(lǐng)域，相信應(yīng)該會(huì)學(xué)到很多東西，況且老師教學(xué)又那么認(rèn)真，及時(shí)你懶，那么也會(huì)逼著你去學(xué)到了。

課程設(shè)計(jì)真是一種藝術(shù)，也是一種優(yōu)化。學(xué)到的不僅僅是理論，也是一種理解和實(shí)現(xiàn)理論的方法以及過程的體驗(yàn)。

--------------------------------

我經(jīng)常會(huì)有一種感覺，就是感覺在自己實(shí)現(xiàn)一些算法的時(shí)候總是覺得不順利或者甚至不想去實(shí)現(xiàn)，一方面開源的工具很多，另一方面懶吧。

其實(shí)每個(gè)初學(xué)算法的人都應(yīng)該去親自體驗(yàn)一下才好，我覺得這個(gè)過程當(dāng)中最重要的就是建立起書面論文理論到具體coding實(shí)現(xiàn)的一個(gè)映射，理論-實(shí)現(xiàn)，這個(gè)映射相信是很多人的瓶頸，要努力克服這個(gè)。

就拿梯度下降(Gradient Descent)這個(gè)小算法來舉個(gè)例子吧，算法簡(jiǎn)單，對(duì)吧？但是忽然讓你馬上實(shí)現(xiàn)一下，能夠5分鐘迅速搞定么？3分鐘？？允許用matlab的話，方便點(diǎn)兒是吧。

------------------------------------------------

即使以前看過梯度下降算法，但是真的要去用去實(shí)現(xiàn)的時(shí)候，還真是得重新再看看。針對(duì)具體問題吧，先選擇個(gè)問題，回歸問題。再找點(diǎn)兒數(shù)據(jù)，索性就把libsvm包里的例子數(shù)據(jù)heart_scale.mat拿來吧，可以自己去下載。雖然是分類的，但是也可以看做回歸唄，有些原理也相似。數(shù)據(jù)中heart_scale_inst包括270個(gè)13維的樣本，label全部是+-1，這里看做回歸吧。

假設(shè)要學(xué)習(xí)這么一個(gè)函數(shù)：

h(x)=hθ(x)=θ0+θ1x1+θ2x2+?

那么損失函數(shù)可以定義成：

J(Θ)=12∥XΘ?Y∥2

其中X看以看成一行一行的樣本向量，那么Θ就是一列一列的了。別搞混了。這其實(shí)就是比較常用的square loss，for least squares regression or classification。那么我們的目標(biāo)很簡(jiǎn)單，就是求損失的最小值的時(shí)候的解：

Θ?=argminΘJ(Θ)

像這種優(yōu)化問題有很多方法，那咱們先直接求導(dǎo)吧，對(duì)于求導(dǎo)過程，好多還是不理解，可以用這種方法：

首先定義損失變量：

ri=∑j=1nXijθj?yi

那么損失函數(shù)就可以表示成：

J=12∑i=1mr2i

一步一步的求導(dǎo)：

?J?θj=∑i=1mri?ri?θj(j=1,2,…,n)

再求：

?ri?θj=Xij

那么把分步驟合起來就是：

?J?θj=∑i=1m(∑k=1nXikθk?yi)Xij(j=1,2,…,n)

導(dǎo)數(shù)為0，那么有：

∑i=1m(∑k=1nXikθ^k?yi)Xij=0(j=1,2,…,n)

整理一下：

∑i=1m∑k=1nXijXikθ^k=∑i=1mXijyi(j=1,2,…,n)

用矩陣符號(hào)將上面的細(xì)節(jié)運(yùn)算抽象一下：

?J(Θ)?Θ=XTXΘ?XTY=0

讓導(dǎo)數(shù)為0，那么求得的解為：

Θ=(XTX)?1XTY

但是我們知道求矩陣(XTX)的逆復(fù)雜度有點(diǎn)兒高，O(n3)，如果n很大，那么也受不了。

可以用最小二乘或者梯度下降來求解，這里我們看看梯度下降的實(shí)現(xiàn)，梯度下降的思想不難，只要確定好梯度以及梯度的方向就ok，因?yàn)槭翘荻鹊姆捶较蛉ハ陆?#xff0c;所以在對(duì)參數(shù)更新的時(shí)候要注意：

Θi=Θi?1?γ?J(Θ)=Θi?1?γ?J(Θ)?Θ

其中γ就是下降的速度了，這個(gè)很敏感的，一般是一個(gè)小的數(shù)值，可以從0.01開始嘗試，越大下降越快，收斂越快。當(dāng)然下降的速率可以改成自適用的，就是根據(jù)梯度的強(qiáng)弱適當(dāng)調(diào)整步伐，這樣效果還好一點(diǎn)兒。

上圖就是迭代目標(biāo)函數(shù)值的情況，迭代終止的條件有很多種，這里取得：

∥∥Θi?Θi?1∥∥<ε

代碼也很簡(jiǎn)單，如果用matlab的話，矩陣計(jì)算就容易很多：

clc; clear % load data heart_scale = load('heart_scale'); X = heart_scale.heart_scale_inst; Y = heart_scale.heart_scale_label;epsilon = 0.0003; gamma= 0.0001;w_old=zeros(size(X,2),1); k=1; figure(1); while 1 minJ_w(k) = 1/2 * (norm(X*w_old - Y))^2; w_new = w_old - gamma*(X'*X*w_old - X'*Y); fprintf('The %dth iteration, minJ_w = %f, \n',k,minJ_w(k));if norm(w_new-w_old) < epsilon W_best = w_new; break; end w_old = w_new; k=k+1; endplot(minJ_w);

運(yùn)行的結(jié)果：
The 1th iteration, minJ_w = 135.000000,
The 2th iteration, minJ_w = 128.785026,
The 3th iteration, minJ_w = 123.210569,
The 4th iteration, minJ_w = 118.202908,
The 5th iteration, minJ_w = 113.697504,
The 6th iteration, minJ_w = 109.637791,
The 7th iteration, minJ_w = 105.974133,
The 8th iteration, minJ_w = 102.662919,
The 9th iteration, minJ_w = 99.665786,
The 10th iteration, minJ_w = 96.948948,
The 11th iteration, minJ_w = 94.482602,
The 12th iteration, minJ_w = 92.240436,
The 13th iteration, minJ_w = 90.199178,
The 14th iteration, minJ_w = 88.338227,
The 15th iteration, minJ_w = 86.639312,
....................

from:?http://www.zhizhihu.com/html/y2011/3632.html

總結(jié)

以上是生活随笔為你收集整理的梯度下降(Gradient Descent)，一句代码，一个式子的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。