指數加權平均的偏差修正

\({{v}_{t}}=\beta {{v}_{t-1}}+(1-\beta ){{\theta }_{t}}\)

在上一個博客中，這個（紅色）曲線對應\(\beta\)的值為0.9，這個（綠色）曲線對應的\(\beta\)=0.98，如果執行寫在這里的公式，在\(\beta\)等于0.98的時候，得到的并不是綠色曲線，而是紫色曲線，可以注意到紫色曲線的起點較低，來看看怎么處理。

計算移動平均數的時候，初始化\(v_{0} = 0\)，\(v_{1} = 0.98v_{0} +0.02\theta_{1}\)，但是\(v_{0} =0\)，所以這部分沒有了（\(0.98v_{0}\)），所以\(v_{1} =0.02\theta_{1}\)，所以如果一天溫度是40華氏度，那么\(v_{1} = 0.02\theta_{1} =0.02 \times 40 = 8\)，因此得到的值會小很多，所以第一天溫度的估測不準。

\(v_{2} = 0.98v_{1} + 0.02\theta_{2}\)，如果代入\(v_{1}\)，然后相乘，所以\(v_{2}= 0.98 \times 0.02\theta_{1} + 0.02\theta_{2} = 0.0196\theta_{1} +0.02\theta_{2}\)，假設\(\theta_{1}\)和\(\theta_{2}\)都是正數，計算后\(v_{2}\)要遠小于\(\theta_{1}\)和\(\theta_{2}\)，所以\(v_{2}\)不能很好估測出這一年前兩天的溫度。

有個辦法可以修改這一估測，讓估測變得更好，更準確，特別是在估測初期，也就是不用\(v_{t}\)，而是用\(\frac{v_{t}}{1- \beta^{t}}\)，t就是現在的天數。舉個具體例子，當\(t=2\)時，\(1 - \beta^{t} = 1 - {0.98}^{2} = 0.0396\)，因此對第二天溫度的估測變成了\(\frac{v_{2}}{0.0396} =\frac{0.0196\theta_{1} + 0.02\theta_{2}}{0.0396}\)，也就是\(\theta_{1}\)和\(\theta_{2}\)的加權平均數，并去除了偏差。會發現隨著\(t\)增加，\(\beta^{t}\)接近于0，所以當\(t\)很大的時候，偏差修正幾乎沒有作用，因此當\(t\)較大的時候，紫線基本和綠線重合了。不過在開始學習階段，才開始預測熱身練習，偏差修正可以幫助更好預測溫度，偏差修正可以幫助使結果從紫線變成綠線。

在機器學習中，在計算指數加權平均數的大部分時候，大家不在乎執行偏差修正，因為大部分人寧愿熬過初始時期，拿到具有偏差的估測，然后繼續計算下去。如果關心初始時期的偏差，在剛開始計算指數加權移動平均數的時候，偏差修正能幫助在早期獲取更好的估測。

總結

以上是生活随笔為你收集整理的神经网络优化篇：详解指数加权平均的偏差修正（Bias correction in exponentially weighted averages）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。