由于 CSDN 只支持 KaTeX, 因此有些公式可能無法正常顯示, 如果想要獲得更好的閱讀體驗請前往原博客

準備

眾所周知, 策略梯度有多種寫法, 總的來說, 在保持策略梯度不變的情況下, 策略梯度可以寫作
$$g=\mathbb{E}\left[\sum _{t=0}^{\infty }{\Psi }_t{?}_{\theta }\log {\pi }_0(a_t\mid s_t)\right]\text{\hspace{1em}(1)}$$
其中 $\Psi$ 可以是
$$\begin{array}{rlr}1.& {\sum }_{t=0}^{\infty }{r}_t& 軌跡的總回報\\ 2.& {\sum }_{t^{\prime }=t}^{\infty }{r}_{t^{\prime }}& 動作后軌跡的總回報\\ 3.& {\sum }_{t^{\prime }=t}^{\infty }{r}_{t^{\prime }}?b(s_t)& 基線形式\\ 4.& Q^{\pi }(s_t,a_t)& 狀態(tài)?動作價值函數\\ 5.& A^{\pi }(s_t,a_t)& 優(yōu)勢函數\\ 6.& r_t+V^{\pi }(s_{t+1})?V^{\pi }(s_t)& \text{TD}殘差\end{array}$$
其中
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? V^\pi(s_t):=\m…
這里逗號表示 $a:b$ 指的是 $(a,a+1,\dots ,b)$ 這樣的序列, $\mathbb{E}$ 的下標枚舉了要被積分的變量. 前面 $5$ 項的推導或者推導資料在參數優(yōu)化中都有說明, 而 $\text{TD}$ 殘差其實是優(yōu)勢函數的一種無偏估計.

其中令 ${\Psi }_t=A^{\pi }(s_t,a_t)$ (優(yōu)勢函數) 的選擇有幾乎最小的方差. 這一點可以從策略梯度的角度直觀的解釋: 策略梯度中的每一步都會增加 “高于平均水平的動作” 的概率, 減少 “低于平均水平的動作” 的概率, 而優(yōu)勢函數 $A^{\pi }(s_t,a_t)=Q^{\pi }(s_t,a_t)?V^{\pi }(s_t)$ 恰好衡量了動作相對平均水平的好壞, 當動作高于平均水平時, 優(yōu)勢函數會取正數, 從而增加其概率; 當動作低于平均水平時, 優(yōu)勢函數會取負數. 從而降低其概率.

我們利用一個參數 $\gamma$ 來降低回報對延遲效應的反應的權重 (即減少未來回報的影響) 來減少方差, 代價是引入偏差. 這個參數相當于有折損的 $\text{MDPs}$ 公式, 但是我們將其當做一個在無折損問題中的一個減少方差的參數. 這些有折損的公式可以表示為
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? V^{\pi, \gamma…
梯度的有折損近似可以表示為
KaTeX parse error: Undefined control sequence: \substack at position 24: …a:=\mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{0:\infty},\…
由于優(yōu)勢函數是未知的, 所以我們需要對它進行估計. 在實踐中, 往往只能學習到 $A^{\pi ,\gamma }$ 的一個有偏估計 (但沒有那么偏) .

我們引入一個關于 $A^{\pi ,\gamma }$ 的一個估計, 并且這個估計是無偏的. 考慮一個與整個軌跡有關的優(yōu)勢函數的估計 ${\hat{A}}_t(s_{0:\infty },a_{0:\infty })$ .

我們定義: 一個估計 ${\hat{A}}_t$ 是 $\gamma \text{-just}$ 的當且僅當
KaTeX parse error: Undefined control sequence: \substack at position 14: \mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{0:\infty},\…
因此如果對于所有的 $t$ 來說 ${\hat{A}}_t$ 都是 $\gamma \text{-just}$ 的話, 就有
KaTeX parse error: Undefined control sequence: \substack at position 14: \mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{0:\infty},\…
一個令 ${\hat{A}}_t$ 為 $\gamma \text{-just}$ 的充分條件是 ${\hat{A}}_t$ 可以被分解為兩個函數 $Q_t$ 和 $b_t$ 之間的差. 并且 $Q_t$ 可以依賴于軌跡中的任意變量, 但必須是 $\gamma$-折扣 的 $Q$ 函數 (狀態(tài)-動作價值函數) 的無偏估計 (如果要求是狀態(tài)-動作價值函數的估計, 那么由于馬爾科夫性, 在時間 $t$ 之前的變量都對狀態(tài)-動作價值函數的值沒有影響, 因此 $Q_t$ 只被時間 $t$ 以及 $t$ 以后的變量決定), 而 $b_t$ 是先于 $a_t$ 被采樣的動作和狀態(tài)的任意函數. 即如果 ${\hat{A}}_t$ 可以被寫成 ${\hat{A}}_t(s_{0:\infty },a_{0:\infty })=Q_t(s_{t:\infty },a_{t:\infty })?b_t(s_{0:t},a_{0:t?1})$ 的形式, 并且對于任意的 $(s_t,a_t)$ 有 ${\mathbb{E}}_{s_{t+1:\infty },a_{t+1:\infty }\mid s_t,a_t}[Q_t(s_{t:\infty },a_{t:\infty })]=Q^{\pi ,\gamma }(s_t,a_t)$ , 那么 $\hat{A}$ 就是 $\gamma \text{-just}$ 的.

證明:
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\mathbb{E}_{\…
其中
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\mathbb{E}_{\…
而
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\mathbb{E}_{\…
根據 $\text{EGLP}$ 定理 (見參數優(yōu)化) 有
KaTeX parse error: Undefined control sequence: \substack at position 14: \mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{t+1:\infty}…
因此
KaTeX parse error: Undefined control sequence: \substack at position 14: \mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{0:\infty},\…
所以有
KaTeX parse error: Undefined control sequence: \substack at position 14: \mathbb{E}_{\?s?u?b?s?t?a?c?k?{s_{0:\infty},\…
也就是說 $\hat{A}$ 是 $\gamma \text{-just}$ 的.

容易驗證, 下列估計表達式 ${\hat{A}}_t$ 也是 $\gamma \text{-just}$ 的:
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\bullet\sum\n…

優(yōu)勢函數的估計

令 ${\delta }_t^V=r_t+\gamma V(s_{t+1})?V(s_t)$ 為 $V$ 的 $\gamma$ 折扣 $\text{TD}$ 殘差. 注意到 ${\delta }_t^V$ 可以被看做是動作 $a_t$ 的優(yōu)勢. 事實上, 如果我們有確切的價值函數 $V=V^{\pi ,\gamma }$ , 那么 ${\delta }_t^{V^{\pi ,\gamma }}$ 會是一個無偏的, $\gamma \text{-just}$ 的優(yōu)勢估計.
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? \mathbb{E}_{s_…
然而, 也只有當 $V=V^{\pi ,\gamma }$ 時這個優(yōu)勢估計才是 $\gamma \text{-just}$ 的.

接著, 讓我們考慮 $k$ 項這樣的 $\delta$ 相加的情況, 我們將其記為 ${\hat{A}}_t^{(k)}$
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\hat{A}_t^{(1…

$${\hat{A}}_t^{(k)}:=\sum _{t=0}^{k?1}{\gamma }^l{\delta }_{t+l}^V=?V(s_t)+r_t+\gamma r_{t+1}+?+{\gamma }^{k?1}{r}_{t+k?1}+{\gamma }^{k}V(s_{t+k})\text{\hspace{1em}(14)}$$

容易得出當且僅當 $V=V^{\pi ,\gamma }$ 時 ${\hat{A}}_t^{(k)}$ 是 $\gamma \text{-just}$ 的. 注意到當 $k\to \infty$ 時, 由于 ${\gamma }^{k}V(s_{t+k})$ 項急劇減小 (當 $V=V^{\pi ,\gamma }$ 時, 該項會產生偏差), 因此其偏差也會減少, 而 $?V(s_t)$ 項是不會產生偏差的 (因為這是基線). 令 $k\to \infty$ , 我們得到
$${\hat{A}}_t^{(\infty )}=\sum _{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}^V=?V(s_t)+\sum _{l=0}^{\infty }{\gamma }^l{r}_{t+l}\text{\hspace{1em}(15)}$$
僅僅是回報減去價值函數基線.

廣義優(yōu)勢估計 $(\text{generalized?advantage?estimator})$ $\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,\lambda )$ 被定義為這些 $k$ 步估計量的指數加權平均:
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? \hat{A}_t^{\ma…
這個公式有兩個特殊的情況即 $\lambda =0$ 和 $\lambda =1$ ,
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? \mathrm{GAE}(\…
$\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,1)$ 是 $\gamma \text{-just}$ 的, 不論 $V$ 的精度如何, 但由于其表達式中有多項和而導致其有高方差. 而 $\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,0)$ 是 $\gamma \text{-just}$ 的當且僅當 $V=V^{\pi .\gamma }$ , 如果并非如此, 那么就會包含偏差, 但其往往具有更低的方差. 當 $0<\lambda <1$ 時我們得到更普遍的優(yōu)勢估計, 并且通過調整參數 $\lambda$ , 我們可以在偏差和方差之間取得一個平衡.

我們引入了一個包含兩個參數 $\gamma$ 和 $\lambda$ 的優(yōu)勢估計, 這兩個參數都會影響偏差和方差之間的平衡. 但是, 它們的作用以及對平衡的影響有本質上的不同. $\gamma$ 決定了價值函數 $V^{\pi ,\gamma }$ 的最大值, 而 $\lambda$ 對其并沒有影響. 并且無論價值函數是否是正確的, 只要 $\gamma <1$ 那么對于梯度 $g$ 來說就一定會有偏差 (因為已經使用了有折損回報, 而我們要優(yōu)化的是無折損回報, 而 $\gamma$ 可以看做是影響方差與偏差的一個參數) . 而當 $\lambda <1$ 時只有錯誤的價值函數才會帶來偏差. 因此我們往往會發(fā)現 $\lambda$ 的最優(yōu)值往往比 $\gamma$ 的最優(yōu)值要低得多, 這有可能是因為當獲取到一個足夠準確的價值函數后 $\lambda$ 引入的誤差要比 $\gamma$ 小得多.

使用廣義優(yōu)勢估計, 我們可以構建一個 $g^{\gamma }$ 的有偏估計
$$g^{\gamma }\approx \mathbb{E}\left[\sum _{t=0}^{\infty }{?}_{\theta }\log {\pi }_{\theta }(a_t\mid s_t){\hat{A}}_t^{\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,\lambda )}\right]=\mathbb{E}\left[\sum _{t=0}^{\infty }{?}_{\theta }\log {\pi }_{\theta }(a_t\mid s_t)\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V\right]\text{\hspace{1em}(19)}$$
當 $\lambda =1$ 時就是無偏的了.

對回報變形后的解釋

令 $\Phi :\mathcal{S}\to \mathbb{R}$ 為在狀態(tài)空間上的任意函數考慮一個變形后的回報 $\tilde{r}$
$$\tilde{r}(s,a,s^{\prime })=r(s,a,s^{\prime })+\gamma \Phi (s^{\prime })?\Phi (s)\text{\hspace{1em}(20)}$$
容易證明, 對于變形后的回報, 其有折損和為
$$\sum _{l=0}^{\infty }{\gamma }^l\tilde{r}(s_{t+l},a_t,a_{t+l+1})=\sum _{l=0}^{\infty }{\gamma }^{l}r(s_{t+l},a_t,a_{t+l+1})?\Phi (s_t)\text{\hspace{1em}(21)}$$
類似的, 我們定義
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? &\tilde{Q}^{\p…
分別為變形后的回報, 價值, 優(yōu)勢函數.

注意到如果 $\Phi$ 如果恰好等于價值函數 $V^{\pi ,\gamma }$ , 那么 ${\tilde{V}}^{\pi ,\gamma }(s)$ 對于任何狀態(tài)都等于零.

同樣注意到使用變形后的回報對最大化有折損回報 ${\sum }_{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t,s_{t+1})$ 的策略梯度是沒有影響的. 但本文的目的其實是要最大化無折損回報, 而 $\gamma$ 是一個用來降低方差的參數.

引出回報變形后, 讓我們考慮將其使用在梯度估計上. 注意到 $\tilde{r}$ 的形式與 ${\delta }^V$ 完全相同. 如果我們令 $\Phi =V$ , 那么就有
$$\sum _{l=0}^{\infty }(\gamma \lambda {)}^l\tilde{r}(s_{t+l},a_t,s_{t+l+1})=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V={\hat{A}}_t^{\mathrm{G}\mathrm{A}\mathrm{E}(\gamma ,\lambda )}\text{\hspace{1em}(25)}$$
因此可以將 ${\delta }_t^V$ 理解為變形后的回報, 而 $\gamma \lambda$ 其實就是折損.

還有另一種解釋, 記響應函數 $\chi$ 為
$$\chi (l;s,a)=\mathbb{E}[r_{t+l}\mid s_t,a_t]?\mathbb{E}[r_{t+l}\mid s_t]\text{\hspace{1em}(26)}$$
注意到 $A^{\pi ,\gamma }(s,a)={\sum }_{l=0}^{\infty }{\gamma }^l\chi (l;s,a)$ . 然后重新回憶我們用折扣因子 $\gamma$ 和 $A^{\pi ,\gamma }$ 來估計的策略梯度 (式 $(6)$) 中有如下形式
$${?}_{\theta }\log {\pi }_0(a_t\mid s_t)A^{\pi ,\gamma }(s_t,a_t)={?}_{\theta }\log {\pi }_0(a_t\mid s_t)\sum _{l=0}^{\infty }{\gamma }^l\chi (l;s,a)\text{\hspace{1em}(27)}$$
使用折扣 $\gamma <1$ 相當于急劇減少當 $l?1/(1?\gamma )$ 的項 (因為 ${\gamma }^l$ 會變得很小) . 因此這些項帶來的偏差會隨著 $l$ 的增加而變少, 也就是說, 在大約 $1/(1?\gamma )$ 步后行動對回報的影響看起來像是被 “遺忘” 了.

如果我們使用變形后的回報 $\tilde{r}$ 并且有 $\Phi =V^{\pi ,\gamma }$ , 不難得到當 $l>0$ 時有 $\mathbb{E}[{\tilde{r}}_{t+l}\mid s_t,a_t]=\mathbb{E}[{\tilde{r}}_{t+l}\mid s_t]=0$ (由于 $t$ 之后時刻采取的動作的概率完全依賴于那時候的狀態(tài) $s$ , 而 $t$ 時刻的動作已經給定為 $a_t$) . 因此只有 $l=0$ 是項才是非零的. 因此變形回報將依賴長時間的梯度估計變成了瞬時的. 當然我們往往難以得到非常好的估計, 但這已經能夠給出式 $(16)$ 的一個很好的解釋: 變形后的回報可以通過擬合 $V^{\pi ,\gamma }$ 來減少響應函數起作用的范圍, 通過引入一個更陡的折損 $\gamma \lambda$ 來減少由回報延遲 (即梯度估計中有很多項回報的和) 引起的噪聲 (這是產生方差的原因), 也就是當 $l?1/(1?\gamma \lambda )$ 時忽略項 ${?}_{\theta }\log {\pi }_0(a_t\mid s_t){\delta }_{t+l}^V$ .

后記

這篇文章可能可以算是論文 High-Dimensional Continuous Control Using Generalized Advantage Estimation 的一個翻譯, 但是其中增添了一些我自己的理解并且有些東西換了一些表述. 這篇文章只有論文前半部分的內容, 后面則是講如何擬合價值函數以及一些探究, 有興趣的可以看原論文. 其實原論文后面這段解釋我看著怪怪的… 雖然說不出什么問題吧… 但是總感覺沒什么必要… 因為前面的介紹以及推導已經解釋了 $\text{GAE}$ 是如何起作用的… 還有我本人英語非常菜, 借助了翻譯才一點點看下來… 如果哪個地方理解不對請指出, 還有大佬們請輕噴.

總結

以上是生活随笔為你收集整理的GAE 算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。