Policy Gradient和Q-learning可以說是model-free RL的兩大陣營。前者是off-line, on-policy的方法，后者是on-line, off-policy的方法。前者是策略迭代，關心的是策略網絡的參數；后者是值迭代，關心的是值網絡的輸出。隨著RL的不斷發展，這兩類方法在不斷交錯領跑的過程中交匯融合。

本文重點介紹Policy Gradient的方法，從其“初心”出發，通過一步步推導來講述新的算法。

Policy Gradient

如果你已經了解了DQN，也許會想到這樣一個問題：為什么一定要用值函數來做決策（當然這個想法也是很自然的），為什么不繞過值函數直接用神經網絡來表示策略呢？
知乎上有關于這個問題的討論。

讓我們再退一步，我們想要的東西到底是什么呢？其實就是讓我們采取策略的期望收益最大化：
$${\theta }^{?}=\underset{\theta }{\mathrm{argmax}}{E}_{\tau ～p_{\theta }(\tau )}r(\tau )$$

$\tau$表示一條當前策略所影響的樣本軌跡，$p_{\theta }(\tau )$是樣本軌跡$\tau$出現的概率。

來進一步寫一下$r(\tau )$和 $p_{\theta }(\tau )$的展開式。
$$r(\tau )=\sum _{t}r(s_t,a_t)$$
$$p_{\theta }(\tau )=p(s_1)\prod _t{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)$$

注意，這里的$\tau$和$t$的含義不同，$\tau$是樣本軌跡，$t$是樣本軌跡上的時間。仔細看$p_{\theta }(\tau )$我們就會發現，將概率展開以后實際上我們的策略可以影響的只有${\pi }_{\theta }(a_t|s_t)$，也就是在狀態$s_t$下采取動作$a_t$的概率。這就是我們策略的數學表示。

REINFORCE

現在我們就可以再向前走一步，按照機器學習的一般思路，我已經定義好了我的目標函數$J(\theta )$，如果可以求出它的梯度${▽}_{\theta }J(\theta )$，我們就可以進行梯度下降了。為了求梯度，我們將$J(\theta )$改寫成積分的形式：
$$J(\theta )=E_{\tau ～p_{\theta }(\tau )}r(\tau )=\int p_{\theta }(\tau )r(\tau )d\tau$$
$${▽}_{\theta }J(\theta )=\int {▽}_{\theta }{p}_{\theta }(\tau )r(\tau )d\tau =\int p_{\theta }(\tau ){▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{p}_{\theta }(\tau )r(\tau )d\tau =E_{\tau ～p_{\theta }(\tau )}{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{p}_{\theta }(\tau )r(\tau )$$

這里用到一個小技巧，${▽}_{\theta }{p}_{\theta }(\tau )=p_{\theta }(\tau )\frac{{▽}_{\theta }{p}_{\theta }(\tau )}{p_{\theta }(\tau )}=p_{\theta }(\tau ){▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{p}_{\theta }(\tau )$，這樣做的目的是把$p_{\theta }(\tau )$重新拿到外邊來，就可以再寫成期望的形式了。

現在公式中的自變量仍然是$\tau$，實際應用中我們不可能直接對$\tau$求導，因此我們再把$p_{\theta }(\tau )$帶進來看看能不能把$\tau$替換為我們可以操作的$s_t,a_t$

$${▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{p}_{\theta }(\tau )={▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}p(s_1)+\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)+\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}p(s_{t+1}|s_t,a_t)=\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)$$

$${▽}_{\theta }J(\theta )=E_{\tau ～p_{\theta }(\tau )}[\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)][\sum _{t}r(s_t,a_t)]$$

于是，我們也就得到了我們的第一個算法REINFORCE：

用參數為$\theta$的策略${\pi }_{\theta }(a|s)$采樣N條樣本軌跡${\tau }_i$，每條軌跡都是獨立的樣本

估計梯度
${▽}_{\theta }J(\theta )=\frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^T[{▽}_{\theta }[\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_{t,n}|s_{t,n})r({\tau }_n)]]$
在這里我們還要使用一個重要的技巧：${▽}_{\theta }J(\theta )=\frac{1}{N}{\sum }_i[{\sum }_t[{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t){\sum }_{t}r(s_t,a_t)]$——在下一部分有詳細推導。原理其實就是我們執行[$r({\tau }_n)+b$]來代替$r({\tau }_n)$不會對${▽}_{\theta }J(\theta )$的結果產生影響，前提是b和${\pi }_{\theta }(a_t,s_t)$沒有任何關系。

更新參數$\theta \leftarrow \theta +\alpha {▽}_{\theta }J(\theta )$

重復上述步驟

一個popular的選項對于${\pi }_{\theta }(a|s)$來說，是高斯策略模型，即策略參數$\pi$是由均值$\mu$和方差${\sigma }^2$構成的。

$${\pi }_{\theta }(a|s)\to \pi (a|s,\mu ,\sigma )=\frac{1}{\sigma \sqrt{2\pi }}\mathrm{e}\mathrm{x}\mathrm{p}(?\frac{(a?{\mu }^T?(s){)}^2}{2{\sigma }^2})$$

此處，$?(s)$表示基函數（the basis function）
$${▽}_{\mu }\mathrm{l}\mathrm{o}\mathrm{g}\pi (a|s,\mu ,\sigma )=\frac{a?{\mu }^T?(s)}{{\sigma }^2}?(s)$$$${▽}_{\sigma }\mathrm{l}\mathrm{o}\mathrm{g}\pi (a|s,\mu ,\sigma )=\frac{(a?{\mu }^T?(s){)}^2?{\sigma }^2}{{\sigma }^3}$$

REINFORCE Pytorch 代碼實現

Actor-Critic

REINFORCE方法有很多缺點，首先它的效率非常低，一個重要原因是方差非常大。${\sum }_{t}r(s_t,a_t)$是每一次仿真的結果，如果效果好了就會對這一次仿真的所有決策獎勵，效果不好了就會全部懲罰，這顯然是有問題的。

讓我們再來好好看一下${▽}_{\theta }J(\theta )=E_{\tau ～p_{\theta }(\tau )}[{\sum }_t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)][{\sum }_{t}r(s_t,a_t)]$

如果$t_2>t_1$，${\pi }_{\theta }(a_{t_2}|s_{t_2})$理論上是不會對${\sum }_{t=0}^{t_1}r(s_t,a_t)$產生影響的，因此，上個式子可以改進成為：
$${▽}_{\theta }{J}_{\theta }(\theta )=E_{\tau ～p_{\theta }(\tau )}[\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)\sum _{t^{\prime }=t}r(s_{t^{\prime }},a_{t^{\prime }})]=E_{\tau ～p_{\theta }(\tau )}[\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)Q(s_t,a_t)]$$

實際上，$Q_t={\sum }_{t^{\prime }=t}r(s_{t^{\prime }},a_{t^{\prime }})$和我們對Q-value的定義非常接近了，都是從時刻$t$開始到結束時的reward收益。

我們已經減小一些方差了，能不能再減小嗎？對于隨機變量$X$，其方差$DX=E{X}^2?(EX{)}^2$，如果$E{X}^2$比較小的話，那么方差就會小了。自然就想到給$r(\tau )$減去一個值，即$r(\tau )\leftarrow r(\tau )?b$，選擇合適的$b$（比如$\frac{1}{N}{\sum }_{i}r({\tau }_i)$），那么方差就會變小了。方差小了，結果會不會變呢？
答案是不變的，我們來證明一下：
$$E[{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(\tau )b]=\int {\pi }_{\theta }(\tau ){▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(\tau )bd\tau =\int {▽}_{\theta }{\pi }_{\theta }(\tau )bd\tau =b\int {▽}_{\theta }{\pi }_{\theta }(\tau )d\tau =b{▽}_{\theta }\int {\pi }_{\theta }(\tau )d\tau =b{▽}_{\theta }1=0$$

所以只要$b$本身是與$\tau$無關的，那么我們就可以這樣做！上面的證明是以$\tau$為自變量的，其實當我們用$Q_t$時一樣可以推出這個結果。

$b$的選取就成為了新出現的問題。理論上可以推出一個最優的$b$，不過應用中我們會用$V_t$估計$b$。也就是說用另外的一個網絡來估計$Q(s_t,a_t)$，$V_t=E_{a_t～{\pi }_{\theta }(a_t|s_t)}Q(s_t,a_t)$，這樣就有：
$${▽}_{\theta }J(\theta )=E_{\tau ～p_{\theta }(\tau )}[\sum _t{▽}_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }(a_t|s_t)]$$

Actor-Critic是一個算法框架，這里給出其中一種算法流程：

用參數為$\theta$的策略${\pi }_{\theta }(a|s)$采樣N個狀態轉移

Reference:
https://blog.csdn.net/Pony017/article/details/81146374
https://www.cnblogs.com/wangxiaocvpr/p/6623078.html

總結

以上是生活随笔為你收集整理的RL——Policy Gradient类方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。