作為一個新手，寫這個強化學習-基礎知識專欄是想和大家分享一下自己學習強化學習的學習歷程，希望對大家能有所幫助。這個系列后面會不斷更新，希望自己在2021年能保證平均每日一更的更新速度，主要是介紹強化學習的基礎知識，后面也會更新強化學習的論文閱讀專欄。本來是想每一篇多更新一點內容的，后面發現大家上CSDN主要是來提問的，就把很多拆分開來了（而且這樣每天任務量也小一點哈哈哈哈偷懶大法）。但是我還是希望知識點能成系統，所以我在目錄里面都好按章節系統地寫的，而且在github上寫成了書籍的形式，如果大家覺得有幫助，希望從頭看的話歡迎關注我的github啊，謝謝大家！另外我還會分享深度學習-基礎知識專欄以及深度學習-論文閱讀專欄，很早以前就和小伙伴們花了很多精力寫的，如果有對深度學習感興趣的小伙伴也歡迎大家關注啊。大家一起互相學習啊！可能會有很多錯漏，希望大家批評指正！不要高估一年的努力，也不要低估十年的積累，與君共勉！

GAE

GAE全稱是generalized advantage estimator，幾乎所有最先進的policy gradient算法實現里面都使用了該技術。

我們已經知道在策略梯度法中，如果直接使用 On-Policy 的方法交互采樣，并用 每一時刻的回報作為梯度中的長期回報估計 ${\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }?t}{\mathbf{r}}_{t^{\prime }},$ 會使算法產生較大的波動，換句話說，梯度的方差會比較大。如果采用 Actor-Critic 的方法，通過模型估計狀態的價值，那么模型優化的方差會減小，但是由于函數擬合的問題，這個方法會產生一定偏差。因此問題的關鍵就在于如何平衡偏差和方差帶來的影響。
Actor Critic 的價值梯度可以表示為
$${?}_{\theta }J(\theta )=E_{\mathbf{s},a～\mathbf{\tau }}\left[\sum _{t=0}^{\infty }{A}^{\pi ,\gamma }\left({\mathbf{s}}_t,{\mathbf{a}}_t\right){?}_{\theta }\log {\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)\right]$$
其中
$$\begin{array}{rl}{A}^{\pi ,\gamma }\left(s_t,a_t\right)& =Q^{\pi ,\gamma }\left(s_t,a_t\right)?V^{\pi ,\gamma }\left(s_t\right)\\ Q^{\pi ,\gamma }\left(s_t,a_t\right)& =E_{s_{t+1},a_{t+1}～\tau }\left[\sum _{l=0}^{\infty }{\gamma }^l{r}_{t+l}\right]\\ V^{\pi ,\gamma }\left(s_t\right)& =E_{s_{t+1},a_t～\tau }\left[\sum _{l=0}^{\infty }{\gamma }^l{r}_{t+l}\right]\end{array}$$
總的來說， $A^{\pi ,\gamma }\left(s_t,a_t\right)$ 已經可以做到在保持無偏差的情況下，盡可能地降低方差值。如果我們能通過學習得到一個完美的優勢函數，模型就可以得到很好的表現。但實際中直接學習優勢函數比較困難，我們往往需要組合其他函數得到優勢函數，同時還需要考慮偏差和方差對模型的影響，為此我們給出了一個定義: $\gamma$ -just。當一個函數 ${\hat{A}}_t$ 滿足 $\gamma$ -just 條件時，它就滿足下面的公式:
$E_{s_0,a_0,\dots ～\tau }\left[{\hat{A}}_t\left(s_{0:\infty },a_{0:\infty }\right){?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]=E_{s_0,a_0,\dots ～\tau }\left[A^{\pi ,\gamma }\left(s_t,a_t\right){?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$
如果我們找到的估計函數能夠滿足上面的公式，它就可以用來替換優勢函數。經過推導分析我們發現， $r_t+\gamma V^{\pi ,\gamma }\left(s_{t+1}\right)?V^{\pi ,\gamma }\left(s_t\right)$ 滿足上述條件，是一個合格的替換 項，于是后面的工作將圍繞它替換進行。

令 $V$ 為一個近似的值函數，我們定義 ${\delta }_t^V=r_t+\gamma V\left(s_{t+1}\right)?V\left(s_t\right),$ 這里的 ${\delta }_t^V$ 可 以作為 $a_t$ 的一個優勢價值估計。如果上面的公式中 $V=V^{\pi ,\gamma },$ 那么 ${\delta }_t^V$ 就是一個 $\gamma$ -just 的估計函數，它可以得到 $A^{\pi ,\gamma }$ 的一個無偏估計:
$$\begin{array}{rl}{E}_{{\mathbf{s}}_{t+1}}\left[{\mathbf{\delta }}_t^{V^{\pi ,\gamma }}\right]& =E_{{\mathbf{s}}_{t+1}}\left[{\mathbf{r}}_t+\gamma V^{\pi ,\gamma }\left(s_{t+1}\right)?V^{\pi ,\gamma }\left(s_t\right)\right]\\ & =E_{s_{t+1}}\left[Q^{\pi ,\gamma }\left(s_t,{\mathbf{a}}_t\right)?V^{\pi ,\gamma }\left(s_t\right)\right]=A^{\pi ,\gamma }\left({\mathbf{s}}_t,{\mathbf{a}}_t\right)\end{array}$$
接下來我們考慮 $n$ 步的優勢函數估計，并用 ${\hat{A}}_t^{(k)}$ 表示，可以得到
$$\begin{array}{l}{\hat{A}}_t^{(1)}={\delta }_t^V=?V\left(s_t\right)+r_t+\gamma V\left(s_{t+1}\right)\\ {\hat{A}}_t^{(2)}={\delta }_t^V+\gamma {\delta }_{t+1}^V\\ =?V\left(s_t\right)+r_t+\gamma V\left(s_{t+1}\right)+\gamma \left(?V\left(s_{t+1}\right)+r_{t+1}+\gamma V\left(s_{t+2}\right)\right)\\ =?V\left(s_t\right)+r_t+\gamma r_{t+1}+{\gamma }^{2}V\left(s_{t+2}\right)\end{array}$$
依此類推，可以得到
$${\hat{A}}_t^{(\infty )}=\sum _{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}^V=?V\left(s_t\right)+r_t+\gamma {\mathbf{r}}_{t+1}+?+{\gamma }^k{\mathbf{r}}_{t+k}+?$$
我們知道 $\gamma$ 是一個小于 1 的數，隨著 $k$ 趨近于無窮大，最終 ${\gamma }^{\infty }V\left(s_{t+\infty }\right)\to 0$, 所 以 ${\hat{A}}_t^{(\infty )}$ 這一項相當于用蒙特卡羅法對優勢函數進行估計。此時我們看到，隨著估計步數的增加，估計值的偏差逐漸變小，方差逐漸變大。如果我們能將這些估計值同時考慮在內，是就可以在偏差和方差之間找到更好的平衡。
$$\begin{array}{rl}{\hat{A}}_t^{\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,\lambda )}& =(1?\lambda )\left({\hat{A}}_t^{(1)}+\lambda {\hat{A}}_t^{(2)}+{\lambda }^2{\hat{A}}_t^{(3)}+?\right)\\ & =(1?\lambda )\left({\delta }_t^V+\lambda \left({\delta }_t^V+{\delta }_{t+1}^V\right)+{\lambda }^2\left({\delta }_t^V+\gamma {\delta }_{t+1}^V+{\gamma }^2{\delta }_{t+2}^V\right)+?\right)\\ & =(1?\lambda )({\delta }_t^V\left(1+\lambda +{\lambda }^2+?\right)+\gamma {\delta }_{t+1}^V\left(\lambda +{\lambda }^2+{\lambda }^3+?\right)\\ & +{\gamma }^2{\delta }_{t+2}^V\left({\lambda }^2+{\lambda }^3+{\lambda }^4+?\right)+?)\\ & =(1?\lambda )\left({\delta }_t^V\left(\frac{1}{1?\lambda }\right)+\gamma {\delta }_{t+1}^V\left(\frac{\lambda }{1?\lambda }\right)+{\gamma }^2{\delta }_{t+2}^V\left(\frac{{\lambda }^2}{1?\lambda }\right)+?\right)\\ & =\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V\end{array}$$
我們發現這個公式的最終形式比較簡潔，雖然我們引人了一個新的超參數，但是公式并沒有復雜太多。此時我們的估計值在偏差和方差方面得到了更好的平衡，我們可以分別計算 $\lambda$ 等于 0 和 1 時的值
$$\begin{array}{lrl}\mathrm{GAE}(\gamma ,0):& {\hat{A}}_t:={\delta }_t& =r_t+\gamma v\left(s_{t+1}\right)?v\left(s_t\right)\\ \mathrm{GAE}(\gamma ,1):& {\hat{A}}_t:={\sum }_{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}& ={\mathrm{sum}}_{t=0}^{\infty }{\gamma }^l{r}_{t+l}?v\left(s_t\right)\end{array}$$
可以看出，當 $\lambda =0$ 時，算法等同于計算 TD-Error，這是一個方差較低但偏差較高的算法;

當 $\lambda =1$ 時，算法變成蒙特卡羅目標值和價值估計的差，這是一個偏差較低但方差較高的算法。我們可以通過調整 $\lambda$ 值使模型在兩者之間得到更好的平衡。因此,
我們可以用它代替前面公式中的優勢函數，此時計算的公式就變為
$${?}_{\theta }J(\theta )=E_{s,a～\tau }\left[\sum _{t=0}^{\infty }{\hat{A}}_t^{\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,\lambda )}{?}_{\theta }\log {\pi }_{\theta }\left({\mathbf{a}}_t\mid s_t\right)\right]$$
當時第一次看GAE的時候很不理解為什么GAE選定了 ${\delta }_t^V=r_t+\gamma V\left(s_{t+1}\right)?V\left(s_t\right)$這種形式，后面看到吳恩達老師1998年reward shaping的論文，在做reward shaping的時候將reward加上一個勢能函數的差值就保障了加入reward shaping之后策略沒有變壞：
$$\tilde{r}\left(s,a,s^{\prime }\right)=r\left(s,a,s^{\prime }\right)+\gamma \Phi \left(s^{\prime }\right)?\Phi (s)$$
感覺GAE就是將V函數替代r函數的一種操作，也就是說GAE是一種更加“長視”的reward shaping的方法？不知道這么理解對不對，歡迎大家討論。

上一篇：強化學習的學習之路（四十七）2021-02-16 TRPO實現策略上的單調提升(Monotonic Improvement with TRPO )
下一篇：強化學習的學習之路（四十九）2021-02-18基于GAE和TRPO的值函數優化

總結

以上是生活随笔為你收集整理的强化学习的学习之路（四十八）2021-02-17 GAE（Generalized Advantage Estimation）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。