---

←上一篇↓↑下一篇→

2.4 理解指數(shù)加權(quán)平均	回到目錄	2.6 動(dòng)量梯度下降法

---

指數(shù)加權(quán)平均的偏差修正 (Bias Correction in Exponentially Weighted Average)

你學(xué)過了如何計(jì)算指數(shù)加權(quán)平均數(shù)，有一個(gè)技術(shù)名詞叫做偏差修正，可以讓平均數(shù)運(yùn)算更加準(zhǔn)確，來看看它是怎么運(yùn)行的。

$$v_t=\beta v_{t?1}+(1?\beta ){\theta }_t$$

在上一個(gè)視頻中，這個(gè)（紅色）曲線對(duì)應(yīng) $\beta$ 的值為0.9，這個(gè)（綠色）曲線對(duì)應(yīng)的 $\beta =0.98$ ，如果你執(zhí)行寫在這里的公式，在 $\beta$ 等于0.98的時(shí)候，得到的并不是綠色曲線，而是紫色曲線，你可以注意到紫色曲線的起點(diǎn)較低，我們來看看怎么處理。

計(jì)算移動(dòng)平均數(shù)的時(shí)候，初始化 $v_0=0$， $v_1=0.98v_0+0.02{\theta }_1$ ，但是 $v_0=0$ ，所以這部分沒有了（ $0.98v_0$ ），所以 $v_1=0.02{\theta }_1$ ，所以如果一天溫度是40華氏度，那么 $v_1=0.02{\theta }_1=0.02?40=8$ ，因此得到的值會(huì)小很多，所以第一天溫度的估測(cè)不準(zhǔn)。

$v_2=0.98v_1+0.02{\theta }_2$ ，如果代入 $v_1$ ，然后相乘，所以 $v_2=0.98?0.02{\theta }_1+0.02{\theta }_2=0.0196{\theta }_1+0.02{\theta }_2$ ，假設(shè) ${\theta }_1$ 和 ${\theta }_2$ 都是正數(shù)，計(jì)算后 $v_2$ 要遠(yuǎn)小于 ${\theta }_1$ 和 ${\theta }_2$ ，所以 $v_2$ 不能很好估測(cè)出這一年前兩天的溫度。

有個(gè)辦法可以修改這一估測(cè)，讓估測(cè)變得更好，更準(zhǔn)確，特別是在估測(cè)初期，也就是不用 $v_t$ ，而是用 $\frac{v_t}{1?{\beta }^t}$ ， $t$ 就是現(xiàn)在的天數(shù)。舉個(gè)具體例子，當(dāng) $t=2$ 時(shí)， $1?{\beta }^t=1?0.98^2=0.0396$ ，因此對(duì)第二天溫度的估測(cè)變成了 $\frac{v_2}{0.0396}=\frac{0.0196{\theta }_1+0.02{\theta }_2}{0.0396}$ ，也就是 ${\theta }_1$ 和 ${\theta }_2$ 的加權(quán)平均數(shù)，并去除了偏差。你會(huì)發(fā)現(xiàn)隨著 $t$ 增加， ${\beta }^t$ 接近于0，所以當(dāng) $t$ 很大的時(shí)候，偏差修正幾乎沒有作用，因此當(dāng) $t$ 較大的時(shí)候，紫線基本和綠線重合了。不過在開始學(xué)習(xí)階段，你才開始預(yù)測(cè)熱身練習(xí)，偏差修正可以幫助你更好預(yù)測(cè)溫度，偏差修正可以幫助你使結(jié)果從紫線變成綠線。

在機(jī)器學(xué)習(xí)中，在計(jì)算指數(shù)加權(quán)平均數(shù)的大部分時(shí)候，大家不在乎執(zhí)行偏差修正，因?yàn)榇蟛糠秩藢幵赴具^初始時(shí)期，拿到具有偏差的估測(cè)，然后繼續(xù)計(jì)算下去。如果你關(guān)心初始時(shí)期的偏差，在剛開始計(jì)算指數(shù)加權(quán)移動(dòng)平均數(shù)的時(shí)候，偏差修正能幫助你在早期獲取更好的估測(cè)。

所以你學(xué)會(huì)了計(jì)算指數(shù)加權(quán)移動(dòng)平均數(shù)，我們接著用它來構(gòu)建更好的優(yōu)化算法吧！

課程PPT

---

←上一篇↓↑下一篇→

2.4 理解指數(shù)加權(quán)平均	回到目錄	2.6 動(dòng)量梯度下降法

---

總結(jié)

以上是生活随笔為你收集整理的2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。