一、 重要性采樣

TRPO和PPO主要思想的數學基礎是重要性采樣

• 重要性采樣： $x_i$ 是從$p(x)$分布中采樣得到的， 但是$p(x)$的值往往無法直接獲得，需要通過其他分布$q(x)$進行間接采樣獲得。

$$\begin{array}{rl}{\mathbb{E}}_{x～p}[f(x)]& =\int f(x)p(x)dx\\ & =\int f(x)\frac{p(x)}{q(x)}q(x)dx\\ & ={\mathbb{E}}_{x～q}[f(x)\frac{p(x)}{q(x)}]\end{array}$$

• 條件：

  • $p$分布與$q$分布需要相近，才能得到較好的效果。

• 用在強化學習里面:

  • 由于策略梯度原始公式中的 新策略分布難以得到，因而使用舊策略進行間接采樣，以使得未知項變成可估計的已知項進行計算。

---

二、 梯度與參數更新

1. 回報的期望： 最大化全部采樣軌跡上的策略回報值
$$\overline{R_{\theta }}=\sum _{\tau }R(\tau )p_{\theta }(\tau )$$
2. 回報的期望的梯度：(第三個等號用到的公式：$?f(x)=f(x)?\log f(x)$)

$$\begin{array}{rl}?\overline{R_{\theta }}& =\sum _{\tau }R(\tau )?p_{\theta }(\tau )\\ & =\sum _{\tau }R(\tau )p_{\theta }(\tau )\frac{?p_{\theta }(\tau )}{p_{\theta }(\tau )}\\ & =\sum _{\tau }R(\tau )p_{\theta }(\tau )?\log p_{\theta }(\tau )\\ & ={\mathbb{E}}_{\tau ～p_{\theta }\tau }[R(\tau )?\log p_{\theta }(\tau )]\\ & \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)?\log p_{\theta }({\tau }^n)\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)?\log p_{\theta }(a_t^n|s_t^n)\end{array}$$

式中

• $N$表示采樣了$N$條trajectory, $T_n$表示每條trajectory的step數量。

• 關于$p_{\theta }(\tau )$
  $$\begin{array}{rl}{p}_{\theta }(\tau )& =p(s_1)p_{\theta }(a_1|s_1)p(s_2|s_1,a_1)p_{\theta }(a_2|s_2)p(s_3|s_2,a_2)...\\ & =p(s_1)\prod _{t=1}^T{p}_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)\end{array}$$
  由兩部分組成一部分是來自環境的 $p_{\theta }(s_{t+1}|s_t,a)$， 一部分是來自agent的 $p_{\theta }(a_t|s_t)$, 其中來自環境的部分不帶入計算，策略更新只考慮agent這部分。所以最后一步并沒有$t+1$這部分。

3. 參數更新：
$$\theta =\theta +\eta ?\overline{R_{\theta }}$$

---

三、 實際算法中對策略梯度的處理方法

1. 策略梯度方法：

加入baseline
$$\begin{gathered} ?\overline{R_{\theta }}=\frac{1}{N}\sum _{n=1}^N(R({\tau }^n)?b)?\log p_{\theta }({\tau }^n) \\ b\approx \mathbb{E}[R(\tau )] \end{gathered}$$

$b$ 的加入保證reward不是恒大于0的，若reward一直大于0，則會導致未被采樣的action無法得到提升，但其實該action并不是不好而是未被采樣。

2. 狀態值函數估計軌跡回報：

$R({\tau }^n)?b$ 部分使用狀態值函數來替代
$$q(s,a)$$

3. 優勢函數估計軌跡回報（Actor-Critic）：

$R({\tau }^n)?b$ 部分用以下Advantage function來替代

$$A(s_t,a_t)=q(s,a)?V(s)$$

4. TD-Error估計軌跡回報：

$R({\tau }^n)?b$ 部分用以下TD-Error 代替
$$r(s_t.a_t)+v(s_{t+1})?v(s)?$$

---

四、GAE(Generalized Advantage Estimation)

GAE的作用

• GAE的意思是泛化優勢估計，因而他是用來優化Advantage Function優勢函數的。
• GAE的存在是用來權衡variance和bias問題的：
  • On-policy直接交互并用每一時刻的回報作為長期回報的估計${\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }?t}{r}_{t^{\prime }}$ 會產生較大的方差，Variance較大。
  • 而通過基于優勢函數的AC方法來進行回報值估計，則會產生方差較小，而Bias較大的問題。

GAE 推導

滿足$\gamma$-just條件。(未完待續)

GAE形式

GAE的形式為多個價值估計的加權平均數。
$$TDError={\delta }_t=r_t+\gamma v(s_{t+1})?v(s_t)$$
運用GAE公式進行優勢函數的估計：

$$\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+1}^V$$

? 為了快速估計序列中所有時刻的估計值，采用倒序計算，從t+1時刻估計t時刻：
$${\widehat{A_t}}^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+1}^V={\delta }_t^V+\gamma \lambda {\hat{A}}_{t+1}^{GAE(\gamma ,\lambda )}$$

---

五、PPO關于策略梯度的目標函數

以上所述的策略梯度算法屬于on-policy的算法，而PPO屬于off-policy的算法

• on-policy: 使用當前策略${\pi }_{\theta }$收集數據，當參數$\theta$更新后，必須重新采樣。
  $$?\overline{R_{\theta }}={\mathbb{E}}_{\tau ～p_{\theta }\tau }[R(\tau )?\log p_{\theta }(\tau )]$$

• off-policy: 可以從可重用的樣本數據中獲取樣本來訓練當前的策略${\pi }_{\theta }$，下式用了重要性采樣。
  $$?\overline{R_{\theta }}={\mathbb{E}}_{\tau ～p_{{\theta }^{\prime }}\tau }[\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}R(\tau )?\log p_{\theta }(\tau )]$$

1. PPO目標函數

對于PPO而言，軌跡回報通過采用Advantage function的方式進行估計，因而其梯度更新方式為：
$$\begin{array}{rl}?\overline{R_{\theta }}& ={\mathbb{E}}_{(s_t,a_t)～{\pi }_{\theta }}[A^{\theta }(s_t,a_t)?\log p_{\theta }(a_t^n|s_t^n)]\\ & ={\mathbb{E}}_{(s_t,a_t)～{\pi }_{\theta }^{\prime }}[\frac{p_{\theta }(s_t,a_t)}{p_{\theta }^{\prime }(s_t,a_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)?\log p_{\theta }(a_t^n|s_t^n)]\\ & ={\mathbb{E}}_{(s_t,a_t)～{\pi }_{\theta }^{\prime }}[\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{\prime }(a_t|s_t)}\frac{p_{\theta }(s_t)}{p_{\theta }^{\prime }(s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)?\log p_{\theta }(a_t^n|s_t^n)]\\ & \approx {\mathbb{E}}_{(s_t,a_t)～{\pi }_{\theta }^{\prime }}[\frac{?p_{\theta }(a_t|s_t)}{p_{\theta }^{\prime }(a_t|s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]\end{array}$$
? 其中，從第二個等式用的是重要性采樣，第三到第四個約等式由于$\frac{p_{\theta }(s_t)}{p_{\theta }^{\prime }(s_t)}$這一項來源于重要性采樣，前提假設兩個分布差別不大，近似為1，且不易計算，故省略，后面的$?\log p_{\theta }(a_t^n|s_t^n)$ ,根據公式$?f(x)=f(x)?\log f(x)$轉換。

? 因而，定義目標函數為：
$$J^{{\theta }^{\prime }}(\theta )={\mathbb{E}}_{(s_t,a_t)～{\pi }_{\theta }^{\prime }}[\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{\prime }(a_t|s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]$$

2. PPO對于重要性采樣約束的處理

? 為了保證$p_\theta(s_t,a_t) $ 與 $p_{\theta }^{\prime }(s_t,a_t)$ 分布的差別不會太大，采用以下約束：

• TRPO： 使用約束 $KL(\theta ,{\theta }^{\prime })<\delta$，在分布上進行約束。
• PPO1(Adaptive KL)：使用$J_{PPO}^{{\theta }^{\prime }}(\theta )=J^{{\theta }^{\prime }}(\theta )?\beta KL(\theta ,{\theta }^{\prime })$，在目標函數上加一個正則項進行約束，注意，這里KL散度衡量的是action之間的距離，而不是參數$\theta$與${\theta }^{\prime }$之間的距離。
• PPO2 (Clip，論文中推薦的)：使用$J_{PP{O}_2}^{{\theta }^{\prime }}(\theta )={\sum }_{(s_t,a_t)}\min \{([\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{\prime }(a_t|s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)],[clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{\prime }(a_t|s_t)},1??,1+?)A^{{\theta }^{\prime }}(s_t,a_t)])\}$, 來約束分布距離。

3. 使用GAE對優勢函數進行優化

def get_gaes(self, rewards, v_preds, v_preds_next):"""GAE:param rewards: r(t):param v_preds: v(st):param v_preds_next: v(st+1):return:"""deltas = [r_t + self.gamma * v_next - v for r_t, v_next, v in zip(rewards, v_preds_next, v_preds)]#計算GAE(lambda = 1), 參見 ppo paper eq(11)gaes = copy.deepcopy(deltas)# 倒序計算GAEfor t in reversed(range(len(gaes) - 1)):gaes[t] = gaes[t] + self.gamma * gaes[t + 1]return gaes

---

六、 PPO的目標函數

PPO的最終目標函數由三部分組成，可使用梯度下降求解，而不是像TRPO一樣使用共軛梯度法：

• 策略梯度目標函數： $L_t^{CLIP}(\theta )$
• 值函數目標函數：$L_t^{VF}(\theta )=(V_{\theta }(s_t)?V_t^{target}{)}^2$
• 策略模型的熵: $S_{[}{\pi }_{\theta }](s_t)$

完整的形式如下：
$$L_t^{PP{O}_2}(\theta )={\hat{\mathbb{E}}}_t[L_t^{CLIP}(\theta )?c_1{L}_t^{VF}(\theta )+c_2{S}_{[}{\pi }_{\theta }](s_t)]$$
這部分相應的代碼如下：

with tf.variable_scope('assign_op'):self.assign_ops = []for v_old, v in zip(old_pi_trainable, pi_trainable):self.assign_ops.append(tf.assign(v_old, v))# inputs for train_op with tf.variable_scope('train_inp'):self.actions = tf.placeholder(dtype=tf.int32, shape=[None], name='actions')self.rewards = tf.placeholder(dtype=tf.float32, shape=[None], name='rewards')self.v_preds_next = tf.placeholder(dtype=tf.float32, shape=[None], name='v_preds_next')self.gaes = tf.placeholder(dtype=tf.float32, shape=[None], name='gaes')act_probs = self.Policy.act_probs act_probs_old = self.Old_Policy.act_probs# agent通過新策略選擇action的概率 probabilities of actions which agent took with policy act_probs = act_probs * tf.one_hot(indices=self.actions, depth=act_probs.shape[1]) act_probs = tf.reduce_sum(act_probs, axis=1)# agent通過舊策略選擇action的概率 probabilities of actions which agent took with old policy act_probs_old = act_probs_old * tf.one_hot(indices=self.actions, depth=act_probs_old.shape[1]) act_probs_old = tf.reduce_sum(act_probs_old, axis=1)with tf.variable_scope('PPO_loss'):"""策略目標函數"""## ratios = tf.divide(act_probs, act_probs_old)# r_t(θ) = π/πold 為了防止除數為0，這里截取一下值，然后使用e(log減法)來代替直接除法ratios = tf.exp(tf.log(tf.clip_by_value(act_probs, 1e-10, 1.0)) - tf.log(tf.clip_by_value(act_probs_old, 1e-10, 1.0)))# L_CLIP 裁剪優勢函數值clipped_ratios = tf.clip_by_value(ratios, clip_value_min=1 - clip_value, clip_value_max=1 + clip_value)self.loss_clip = tf.minimum(tf.multiply(self.gaes, ratios), tf.multiply(self.gaes, clipped_ratios))self.loss_clip = tf.reduce_mean(self.loss_clip)"""策略模型的熵"""# 計算新策略πθ的熵 S = -p log(p) 這里裁剪防止p=0self.entropy = -tf.reduce_sum(self.Policy.act_probs * tf.log(tf.clip_by_value(self.Policy.act_probs, 1e-10, 1.0)), axis=1)self.entropy = tf.reduce_mean(self.entropy, axis=0) # mean of entropy of pi(obs)"""值目標函數"""# L_vf = [(r+γV(π(st+1))) - (V(π(st)))]^2v_preds = self.Policy.v_predsself.loss_vf = tf.squared_difference(self.rewards + self.gamma * self.v_preds_next, v_preds)self.loss_vf = tf.reduce_mean(self.loss_vf)# construct computation graph for loss# L(θ) = E_hat[L_CLIP(θ) - c1 L_VF(θ) + c2 S[πθ](s)]# L = 策略目標函數 + 值目標函數 + 策略模型的熵self.loss = self.loss_clip - c_1 * self.loss_vf + c_2 * self.entropy# minimize -loss == maximize lossself.loss = -self.lossoptimizer = tf.train.RMSPropOptimizer(learning_rate=args.ppo_lr, epsilon=1e-5) self.gradients = optimizer.compute_gradients(self.loss, var_list=pi_trainable) self.train_op = optimizer.minimize(self.loss, var_list=pi_trainable)

總結

以上是生活随笔為你收集整理的PPO、GAE笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。