這是一篇1997年由Pendrith發表在AAAI上的一篇比較久遠的文章，讓我去看這篇論文的原因是在TD3論文中出現了這篇論文的reference，因此我就找了這篇文章。主要為了探究在RL中，值函數估計對bias、varience的影響。這篇文章主要是針對Varience而言的。
文章總體思路不難，觀點也很明確，主要得出了3個結論：

在RL中，過量的估計誤差會導致學習不穩定。

指出了通過調節超參數的方式來處理方差問題是有問題的，特別是在noisy環境和非馬爾可夫環境中。

為了解決RL中方差較大的問題，作者提出并驗證了一種叫ccBeta的算法，用于設計合適的學習率。

Estimator Varience in RL:Theoretical Problems and Preatical Solutions

• Abstract
• Introduction
• • RL as On-line Dynamic Programming
  • Q-learning as on-line value iteration
• CTR Bias and Varience
• • CTR Bias and Varience in NMDPs
• $\beta$：Varience versus Adaptability
• • The ccBeta Algorithm
• Experimental Result
• • Simulation experiment 1
  • Simulation experiment 2
  • Experiment 3:Learning to Walk
  • The RL algorithms
• Conclusions
• 學習中的不足之處：

Abstract

在強化學習中，很多算法都需要進行估計，比如Q-learning算法中需要估計Q(s,a)。估計必然會引入bias和varience。較高的方差會導致學習過程不穩定，甚至導致無效的學習。

為了控制估計的方差，之前廣為流傳的是用一種調節超參數的方式，比如TD($\lambda$)中的超參數$\lambda$，通過調節$\lambda$來trade-off方差(the level of estimator perturbation)和bias或者對環境改變的適應速度(the rate of adaptation)問題。

接下來作者會用實驗證明這種說法的不正確。然后是這篇文章最有價值的地方：提出了ccBeta算法來處理估計高方差問題。并且ccBeta在實驗中的表現也是不錯的。

Introduction

RL as On-line Dynamic Programming

這部分主要交代了RL基于MDP的相關背景：即<S,A,R,P,E>,以及RL的目的是為了最大化累計獎賞。這部分略。

Q-learning as on-line value iteration

這部分主要介紹Q-learning算法：一種基于DP中值迭代的model-free算法。主要有one-step和n-step兩種形式。
Q-learning算法的更新基于"delta rule":
$$\begin{gathered} Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\beta {\Delta }_t \\ {\Delta }_t=r_t^{(1)}?Q(s_t,a_t) \\ {r}_t^{(1)}=r_t+\gamma \underset{a}{\max }Q(s_{t+1},a) \end{gathered}$$
(其實這就是一種軟更新的形式，$\beta$就是我們所說的學習率，一般用$\alpha$表示，但文章是用$\beta$表示的)
其中，$r_t^{(1)}$被稱為1-step corrected truncated return,簡稱1-stepCTR，也就是我們的TD目標值。
單步CTR轉變成n步CTR：
$$\begin{gathered} r_t^{(n)}=r_t^{[n]}+{\gamma }^n\underset{a}{\max }Q(s_{t+n},a) \\ {r}_t^{[n]}=\sum _{i=0}^{n?1}{\gamma }^i{r}_{t+i} \end{gathered}$$
其中$r_t^{[n]}$被稱為uncorrected n_step truncated return,簡稱UTR。
此外，后文出現的CTR的長度n代表著n-step的TD算法，比如TD($\lambda$)。

CTR Bias and Varience

這一節就是摘要的第二部分
在這篇文章發表之前呢，廣為流傳的平衡bias和varience問題是通過調節CTR的長度來實現的：CTR越短，比如最短的是1-step算法，其方差越小，偏差越大；CTR越長，比如最長的是MC算法，其方差越大，因為實時獎勵的方差是很大的，偏差越小，因為MC是Q真值的無偏估計。
但是作者指出，這個idea是錯誤的。接下來作者通過2個實驗去證明了其錯誤性。
2個思路：

CTR較短的時候，且在任務初始時期，可能會存在高方差+高偏差的情況。CTR較長的時候，可能會存在低方差+低偏差的情況。

在非馬爾科夫決策環境下，即NMDPs，可能會存在較短的CTR的方差比較長的CTR的方差更大。

實驗如下：
①：對于思路1：

如上圖所示，這是一個4狀態1動作，獎勵為0的MDP環境。
我們可以借用RL算法中的TD算法來理解：
對于較短的CTR，選擇單步的TD算法，給出更新公式：
$$Q(s_t,a_t)=Q(s_t,a_t)+\beta (r+\gamma Q(s_{t+1},a_{t+1})?Q(s_t,a_t))$$
我們考察Q(s1,a0)，剛初始化的時候，狀態s1的動作值函數取決于狀態s2或s3的動作值函數，由于這兩個值本身自己也是估計值，因此是不準確，故高偏差問題是顯然的。至于方差問題，如果S2、S3的Q值相差不小，那么就會直接導致Q(s1,a0)的不穩定，即較大的方差問題。
因此，在初始時期，較短的CTR會出現高方差+高偏差的情況。
同理，對于較長的CTR，作者直接選用2-step，這里我們同樣用TD算法來理解，其實2-step在上圖中就相當于MC算法了。
給出更新公式：
$$Q(s_t,a_t)=Q(s_t,a_t)+\beta (r1+\gamma r2+0?Q(s_t,a_t))$$
首先，TD目標值本身就是$G_t$的形式，自然是無偏的，本來獎勵r是高方差的，但是由于實時獎勵為0，因此直接0方差。
因此，較長的CTR也會出現低方差+低偏差的情況。

最后作者指出:

當值函數估計值全局收斂的時候，n-step CTR估計的方差取決于UTR的長度。
即：
$$i<j?r_t^{[i]}\le r_t^{[j]}?var[r_t^{(i)}]\le var[r_t^{(j)}]$$
2.對于bias/varience的trade-off是沒有具體設計方式的，也就是說對于n-step算法，n的取值是沒有標準的策略。

②：對于思路2：

CTR Bias and Varience in NMDPs

作者設計了一個非NMDPs的環境，原理也很簡單，就是不符合馬爾科夫性質就行（指當前狀態只取決于上個狀態，而與過去無關）。

NMDPs如上圖所示:
R($A|0$)=0
R($A|1$)=0
R($B|0$)=0（當狀態A執行動作0）
R($B|0$)=1（當狀態A執行動作1）
因為主要研究MDP環境，中間的具體分析見原文，直接給出結論：
在NMDPs中，作者發現1-step CTR的方差比n-step CTR的方差還要大。

總結：綜上2個實驗所述，CTR的長度（或者說超參數$\lambda$的選擇）不能作為平衡bias和varience的方式，因此不能根據CTR的長度來解決高方差問題，也就是這個說法是錯誤的。

那么如何解決高方差問題呢？

就是接下去作者引出的ccBeta算法，也是我認為這篇文章最有價值的地方。

$\beta$：Varience versus Adaptability

在RL學習中，學習率是一個很重要的超參數，現在普遍的做法是窮舉比如10個值，通過不斷試錯來找到使Agent性能最佳的值，但是這種做法是很耗時的。
通常的選擇方案是：在環境適應力(fast adaptation)和低方差的平衡中選擇。一般而言，環境適應力越強，意味著學習率$\beta$越大，更新快，學習速率高；低方差，意味著$\beta$越小，比如Q-learning中，本來剛開始大家的Q值都是不準確的，這時候你學習率太大，反而會造成值更新的不穩定，方差就會很大。
（適應力就是比如某個穩定的環境下，Agent的值函數收斂至穩定的值，當環境突然變化，Agent的值函數收斂至另一個穩定值的速度有多快。其就是學習速率）
作者給出了當下2種常見的學習率處理方案以及本文提出的ccBeta算法：

衰減的學習率設置：
$$\begin{gathered} {\beta }_i=\frac{1}{i} \\ \sum _{i=1}^{\infty }{\beta }_i=\infty ,and\sum _{i=1}^{\infty }{\beta }_i^2<\infty \end{gathered}$$
（這就是隨機收斂定理）

固定學習率設置：如$\beta =0.1$。

ccBeta算法。

作者記下來分別對三種設置進行分析與實驗對比。

對于衰減的$\beta$:
根據收斂定理，這個$\beta$可以使得RL算法最終收斂，也就是能較不錯的減少方差。但是其不適用于不穩定的環境，比如從環境中獲取的return經常會發生變動，環境中會有噪聲等。對于穩定的環境，這是一種最佳的算法，甚至表現的比ccBeta更好，但是對于變化不穩定的環境，會導致算法的適應力變弱，值函數的更新會很慢。至于變慢的原因，在后面實驗2中會有解釋。
對于固定的$\beta$：
與衰減的$\beta$不同，它可以適應變化的環境，對環境變化敏感，即環境發生改變，他可以立即反應過來，較快的更新值函數。但是收斂性比穩定環境中差一些，特別是在隨機策略下的環境中或有噪聲的環境下收斂效果更差。在這種環境下，固定$\beta$較差的收斂性會導致學習不穩定。其在學習速率和降低方差之間的trade-off較難實現，因為學習率高的話，其方差都會較大。
Note：
①：不要將隨機環境下的探索率$?$和學習率搞混了。
②：在隨機環境或者噪聲環境中收斂效果差主要是因為，比如說在暫時穩定的環境中，算法已經收斂了，TSE很小。這時候，環境突然地變化使得殘差中的真值需要重新分布，故算法需要重新進行收斂，這樣的話又會產生新的error，使得總體的error增大。在下面的實驗二中也會論證這一點。

那么有沒有一種方法可以trade-off上述兩種方法呢，既不固定也不逐漸衰減呢？

那就是ccBeta！

The ccBeta Algorithm

ccBeta算法是針對“delta-rule”而言的：
$$\begin{gathered} {\Delta }_i\leftarrow z_i?Q_{i?1} \\ {Q}_i\leftarrow Q_{i?1}+{\beta }_i{\Delta }_i \end{gathered}$$
其中，$z_i$是第i個step $Q_i$更新的目標值，${\Delta }_i$是第i個step的error值。
ccBeta的原理就是根據是否序列相關（自相關）來調整$\beta$。具體如下：
假設$z_i$與$Q_{i?1}$可以由一條曲線來擬合。另${\Delta }_i$為第i個step的殘差項。

當一系列殘差項自相關時，說明每一個$Q_i$過估計或者欠估計。說明此時已經到了訓練的中后期或者說每一個值函數都已經找到了正確的目標值，只是數值上還沒接近，即值函數的估計值和目標值在同一方向上，只是數值間相差一些，這時候只要增大$\beta$，加快更新幅度即可。

當一系列殘差項不相關時，無序性說明這時候還是訓練初期，$\beta$
不能過大，否則會造成值函數的更新不穩定，即方差會很大，因此需要減小$\beta$來使得方差盡可能的小。

接下來作者給出ccBeta算法的按指數方式加權的自適應系數$c{c}_i$以及$\beta$的設置

$$\begin{gathered} sum\_square\_er{r}_i\leftarrow K?sum\_square\_er{r}_{i?1}+{\Delta }_i^2 \\ sum\_produc{t}_i\leftarrow K?sum\_produc{t}_{i?1}+{\Delta }_i{\Delta }_{i?1} \\ c{c}_i\leftarrow \frac{sum\_produc{t}_i}{\sqrt{sum\_square\_er{r}_i?sum\_square\_er{r}_{i?1}}} \end{gathered}$$

Note:

sum_square_err和sum_product的初始值都是0，為了避免$c{c}_i$出現inf，令這種情況下$c{c}_i=1$。

K是一個0-1之間的數，這樣設置的好處在于：首先2個sum值都有上限，這是防止訓練到后面sum值越來越大導致系數溢出。其次自相關系數會更加關注偏袒于離當前時間點近的error值，越是時間上較早的$\Delta$值,其$\Delta$值一般越不準確，通過K的衰減早期的$\Delta$就變得越來越沒影響力(這有點像被$\gamma$衰減的累計獎勵，但它衰減的是未來的)。關注當前遺忘過去的好處在于對于不穩定的環境（或者說noisy環境）Agent的適應力更強。也就是說，當新環境出現時，舊環境中的${\Delta }_i$相對新環境而言也是不準確，應該給予衰減，減小其參考權重。

對于${\Delta }_i$項，作者提出了一種更為魯棒的變體：$sgn({\Delta }_i)$。這么做的好處在于經過階躍函數處理的$\Delta$在noisy環境中的表現更加好。作者給出的理由如下：

作者給出K=0.9是最佳實踐參數。

下面是$c{c}_i$導出${\beta }_i$的偽代碼以及折線圖：
$$\begin{gathered} if(c{c}_i>0):{\beta }_i\leftarrow c{c}_i?MAX\_BETA \\ else:{\beta }_i\leftarrow 0 \\ if({\beta }_i<MIN\_BETA):{\beta }_i\leftarrow MIN\_BETA \end{gathered}$$

從上述關系可知：

當${\Delta }_i$呈現負的自相關或者無自相關的時候，此時error的值是正負交替，表示學習初期，從上述條件語句可以看出${\beta }_i$會很小，甚至為0，這樣就可以有效降低方差。

當${\Delta }_i$呈現正的自相關，此時error是同符號的過估計或者欠估計，表示學習后期，從上述條件語句可以看出，${\beta }_i$會很大，這樣就可以加快學習，提升適應力。

設置MAX_BETA=1.0以及MIN_BETA=0.01是最佳實踐。

作者還指出使用$c{c}_i^2$來代替$c{c}_i$去權衡${\beta }_i$值能產生更好地結果：更低的total square error(TSE)以及更低的varience。作者給出的理由如下：

接下來作者會進行2個實驗來證明三種$\beta$設置的對比

Experimental Result

相關設置：
K=0.9
error選擇$sgn({\Delta }_i)$
自相關系數選擇$c{c}_i$
MAX_BETA=1.0
MIN_BETA=0.01

Simulation experiment 1

這次仿真，作者安排了6組實驗，每一組實驗都是跟蹤一個在以[-0.25,+0.25]為波動上限，在0值附近上下波動（即信號均值為0）的一個信號10000個steps，并重復進行n次，檢測指標是TSE（可用來衡量收斂特性）以及std標準差。實驗的目的是為了得出學習率的設置對估計error和估計方差的影響。實驗結果如下：

從實驗結果我們可以得出：

在穩定環境中，衰減的$\beta$能取得最好的效果，最低的TSE以及較低的方差（標準差的平方）。

從固定的$\beta$可以看出，隨著數值增大，TSE和Std逐漸增加。

ccBeta雖然不如衰減的$\beta$來得好，但是比絕大多固定$\beta$表現得好，其能較好的減小方差。

Simulation experiment 2

這個仿真實驗的信號和實驗1相同，但是在400步之后加入了noisy，將輸入信號的均值從0提升到了1.0。實驗的目的是為了評估學習率對Agent適應力的影響。
實驗結果曲線圖如下（圖中只畫了50步，噪聲在400步加入）：

從曲線圖可知：

從第一張曲線圖中，固定值的$\beta$對噪聲環境的適應力較強；相反衰減$\beta$的適應力很弱，更新十分緩慢，從$0\to 0.95$甚至用了9950步。這是因為我們知道學習率越低，其更新速度越慢，當執行到400步的時候，此時學習率為0.0025，此時讓他開始重新學習的話，其更新自然非常慢，這就解釋了為啥衰減$\beta$適應力弱了。

從第二張曲線圖中，ccBeta對噪聲環境的適應力也不錯，能較快的根據環境變化，將估計值達到1附近。

實驗結果統計如下：

其中，Steps to Crossing意思是，環境發生改變之后，Agent做出回應，更新估計值第一次到新的一個估計值所用的步數，用來衡量適應力。

從表中看出衰減$\beta$的適應力很差，而且由于更新太慢，所以TSE會非常大，綜合表現力較差。

對于固定的$\beta$值，正如前面所說，其適應力較強，對環境改變敏感。隨著$\beta$的提升，其適應力增強，i.e.適應速度加快，或者說學習速率提升。但是我們都知道$\beta$越高，其方差越大。因此固定的$\beta$難以在學習速率和降低方差上有效trade-off。

兩張表對比：

正如之前所說，固定的學習率，在噪聲環境中，其收斂效果較差，這點從TSE中可以看出，噪聲環境中的TSE顯然增加了。
4. 從表中看出ccBeta算法在噪聲環境中以不俗的適應力超過大多學習率設置。

ccBeta算法，無論環境是否有噪聲，都能表現不俗。當無噪聲的時候，其TSE和Std僅次于最優的衰減$\beta$設置。在有噪聲的時候，其TSE僅次于固定$\beta =0.1$，其適應力也幾乎僅次于$\beta =0.3$。換句話說，在學習速度上，其能力不凡。在降低方差上，其效果也不錯，因此ccBeta是一種可以在學習速率和降低方差上trade-off的學習率選擇方案。

Experiment 3:Learning to Walk

略

The RL algorithms

略

Conclusions

總結：

在RL中，過量的估計方差會導致不穩定的學習。

之前流傳的 關于CTR長度和方差、偏差的關系是不準確的，因此通過調節超參數來trade-off，來降低估計方差是有待驗證的。

ccBeta算法是一個有效控制varience的好辦法，在仿真和實際環境中都表現不錯。其可以在保證最小化方差的同時防止在不穩定環境（噪聲環境）中因為適應力較弱而使得TSE太大。這是一個可以有效trade-off學習速率和降低方差的好辦法。

ccBeta算法適用性很強，就像model-free算法一樣，和設計本身關系不大，可適用于很多算法中。

任何符合“delta rule”的算法都能在ccBeta上取得很好的表現。

學習中的不足之處：

對于$sgn({\Delta }_i)$代替${\Delta }_i$的理由不是很明白。

對于$c{c}_i^2$代替$c{c}_i$的理由不是很明白。

有明白的同學麻煩告知下，謝謝。

總結

以上是生活随笔為你收集整理的论文笔记之Estimator Varience in RL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。