指數加權平均

下面介紹一下比梯度下降更快的算法，不過在這之前，你要了解指數加全平均。

如1和2所示，指數加權實際上就是設置一個權值。就像下圖所示

通過

11?β11?β
來計算是平均的多少天。

理解指數加權平均

如下圖所示

我們要算第100天的平均溫度可以寫成圖中下面0.9的指數形式。由上圖是每天的實際溫度，下面是0.1通過指數衰減過后的函數值。對于v_100而言，這些所有的系數相加和近似為1，我們稱這個為偏差修正。

那么一般情況下我們到底平均多少天的氣溫就可以了呢？

可以看到0.9的10次方差不多等于1/e，此時權重差不多下降到整體權重的三分之一，我們有公式

βn=11?ββn=11?β
這個n值差不多就是我們想要的了。

最后我們來講一下實際如何執行。

算法如上圖所示的右側。這實際上是一個遞歸的過程。如右下圖所示，就是一個不斷更新

v=βv+(1?β)θv=βv+(1?β)θ
的過程。

指數加權平均的偏差修正

偏差修正可以讓指數加權平均算的更為準確一些，下面介紹一下是如何做的。

如圖左側所示，按照我們指數加權平均公式，V0V0等于0，所以V1V1的預測值會比V1V1的實際值要低上不少。因為θ2θ2所占的比重也很低，計算出來的V2V2預測值比實際值底。那么有沒有什么好的解決辦法呢？讓估值初期的值與實際值更接近一些。

方法就是如圖右側所示，我們更新公式，給分母加一個權重

Vt1?βtVt1?βt
我們可以發現，隨著t的不斷增加，分母會越來越接近于1，這樣就保證了加權平均并且除去了偏差。當t不斷增加的時候，修正偏差幾乎沒有作用。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.2.2 指数加权平均的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。