指數(shù)加權(quán)平均

下面介紹一下比梯度下降更快的算法，不過在這之前，你要了解指數(shù)加全平均。

如1和2所示，指數(shù)加權(quán)實(shí)際上就是設(shè)置一個(gè)權(quán)值。就像下圖所示

通過

11?β11?β
來(lái)計(jì)算是平均的多少天。

理解指數(shù)加權(quán)平均

如下圖所示

我們要算第100天的平均溫度可以寫成圖中下面0.9的指數(shù)形式。由上圖是每天的實(shí)際溫度，下面是0.1通過指數(shù)衰減過后的函數(shù)值。對(duì)于v_100而言，這些所有的系數(shù)相加和近似為1，我們稱這個(gè)為偏差修正。

那么一般情況下我們到底平均多少天的氣溫就可以了呢？

可以看到0.9的10次方差不多等于1/e，此時(shí)權(quán)重差不多下降到整體權(quán)重的三分之一，我們有公式

βn=11?ββn=11?β
這個(gè)n值差不多就是我們想要的了。

最后我們來(lái)講一下實(shí)際如何執(zhí)行。

算法如上圖所示的右側(cè)。這實(shí)際上是一個(gè)遞歸的過程。如右下圖所示，就是一個(gè)不斷更新

v=βv+(1?β)θv=βv+(1?β)θ
的過程。

指數(shù)加權(quán)平均的偏差修正

偏差修正可以讓指數(shù)加權(quán)平均算的更為準(zhǔn)確一些，下面介紹一下是如何做的。

如圖左側(cè)所示，按照我們指數(shù)加權(quán)平均公式，V0V0等于0，所以V1V1的預(yù)測(cè)值會(huì)比V1V1的實(shí)際值要低上不少。因?yàn)?span id="ozvdkddzhkzd" class="MathJax_Preview" style="color: inherit; display: none;">θ2θ2所占的比重也很低，計(jì)算出來(lái)的V2V2預(yù)測(cè)值比實(shí)際值底。那么有沒有什么好的解決辦法呢？讓估值初期的值與實(shí)際值更接近一些。

方法就是如圖右側(cè)所示，我們更新公式，給分母加一個(gè)權(quán)重

Vt1?βtVt1?βt
我們可以發(fā)現(xiàn)，隨著t的不斷增加，分母會(huì)越來(lái)越接近于1，這樣就保證了加權(quán)平均并且除去了偏差。當(dāng)t不斷增加的時(shí)候，修正偏差幾乎沒有作用。

吳教主深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)課程總綱

總結(jié)

以上是生活随笔為你收集整理的2.2.2 指数加权平均的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。