文章目錄

• Policy-based RL
• • 思路
  • 特點
  • 解決噪聲問題
  • • use temporal causality
    • include a baseline
  • 方法
  • • MC policy gradient

Policy-based RL

思路

基于MC采樣的更新方法：

特點

無偏但是噪聲大，噪聲是因為它是隨機采樣的，好的結果和壞的結果差距較大。

解決噪聲問題

use temporal causality

在時序上處理（REINFORCE）

上式梯度更新變為下式，某時刻的獎勵只與當前時刻相關，這樣可以減少無必要的相關性：

include a baseline

再將上式變為下式，減去一個bias，這個bias可以取值為期望，這樣就可以平均一些很離譜的價值：

可以將b取為：

方法

MC policy gradient

??（采樣） 這里首先假設一個馬爾科夫過程，我們對這個馬爾科夫鏈進行采樣如下
$\tau =\left(s_0,a_0,r_1,\dots s_{T?1},a_{T?1},r_T,s_T\right)～\left({\pi }_{\theta },P\left(s_{t+1}\mid s_t,a_t\right)\right)$
?
??（要優化的函數）$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}R\left(s_t,a_t\right)\right]={\sum }_{\tau }P(\tau ;\theta )R(\tau )$
（其中$R(\tau )={\sum }_{t=0}^{T?1}R\left(s_t,a_t\right)$， $P(\tau ;\theta )=\mu \left(s_0\right){\prod }_{t=0}^{T?1}{\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$）
?
??（要優化的目標）${\theta }^{?}=\underset{\theta }{\mathrm{argmax}}J(\theta )=\underset{\theta }{\mathrm{argmax}}{\sum }_{\tau }P(\tau ;\theta )R(\tau )$
?
??（用于優化的梯度）${?}_{\theta }J(\theta )={\sum }_{\tau }P(\tau ;\theta )R(\tau ){?}_{\theta }\log P(\tau ;\theta )$
?
??（用MC蒙特卡洛采樣的方法近似梯度）${?}_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){?}_{\theta }\log P\left({\tau }_i;\theta \right)$
?
?? （分解核函數)${?}_{\theta }\log P(\tau ;\theta )={\sum }_{t=0}^{T?1}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$
?
?? （最后的近似梯度，amazing！！！）${?}_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){\sum }_{t=0}^{T?1}{?}_{\theta }\log {\pi }_{\theta }\left(a_t^i\mid s_t\right)$
從上面MC近似的梯度來看，這里并不一定需要model-base。

總結

以上是生活随笔為你收集整理的强化学习6——Policy-based RL（MC policy gradient）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。