ng機(jī)器學(xué)習(xí)視頻筆記（二）

——梯度下降算法解釋以及求解θ

??（轉(zhuǎn)載請(qǐng)附上本文鏈接——linhxx）

?

?

?一、解釋梯度算法

?

? ? ? ? ?梯度算法公式以及簡(jiǎn)化的代價(jià)函數(shù)圖，如上圖所示。

???????? 1）偏導(dǎo)數(shù)

由上圖可知，在a點(diǎn)，其偏導(dǎo)數(shù)小于0，故θ減去小于0的數(shù)，相當(dāng)于加上一個(gè)數(shù)。另外，從圖上可以看出，在a點(diǎn)不是最佳點(diǎn)，需要繼續(xù)向右移動(dòng)，即a需要增加。因此符合要求。

?????? 對(duì)于在b點(diǎn)，可以同理得到需要減少的結(jié)果。

?????? 2）學(xué)習(xí)速率α

?????? α表示點(diǎn)移動(dòng)向最小值點(diǎn)的速率，α取值需要注意。

?????? 當(dāng)值太大，每次移動(dòng)的距離太長(zhǎng)，可能導(dǎo)致在最小值點(diǎn)附近時(shí)，移動(dòng)會(huì)超出最小值點(diǎn)的位置，導(dǎo)致不斷的在大于、小于最小值點(diǎn)的位置偏移，無(wú)法收斂；

?????? 當(dāng)值太小，移動(dòng)速度 非常慢，會(huì)導(dǎo)致程序執(zhí)行時(shí)間太久。

?????? 另外，由于在越接近最小值點(diǎn)，偏導(dǎo)數(shù)的數(shù)量值（絕對(duì)值）越小，因此變化速率本身就會(huì)變慢，因此選定α后，不需要再去調(diào)整數(shù)值，其自己會(huì)減慢速率。

?

二、梯度算法缺陷

?

? ? ? ? ?由上圖可知，對(duì)于有多個(gè)極小值點(diǎn)的代價(jià)函數(shù)，梯度算法只能取到局部最小值點(diǎn)，即函數(shù)的極小值點(diǎn)，但是沒(méi)法保證該點(diǎn)就是最小值點(diǎn)。

?

三、求解θ

??????

? ? ? ?公式如上圖所示，實(shí)質(zhì)上就是求偏倒的結(jié)果。

?????? 不斷的計(jì)算θ0和θ1，直到偏導(dǎo)數(shù)為0（或者設(shè)定小于某個(gè)閾值），則停止計(jì)算，此時(shí)的結(jié)果則是對(duì)于某個(gè)起始點(diǎn)的局部最優(yōu)結(jié)果。

?

——written by linhxx

?

更多最新文章，歡迎關(guān)注微信公眾號(hào)“決勝機(jī)器學(xué)習(xí)”，或掃描右邊二維碼。

轉(zhuǎn)載于:https://www.cnblogs.com/linhxx/p/8412681.html

總結(jié)

以上是生活随笔為你收集整理的ng机器学习视频笔记（二） ——梯度下降算法解释以及求解θ的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。