強化學習—— 經驗回放（Experience Replay）

• 1、DQN的缺點
• • 1.1 DQN
  • 1.2 DQN的不足
  • • 1.2.1 經驗浪費
    • 1.2.2 相關更新（correlated update）
• 2 經驗回放
• • 2.1 簡介
  • 2.2 計算步驟
  • 2.3 經驗回放的優點
• 3. 改進的經驗回放（Prioritized experience replay）
• • 3.1 基本思想
  • 3.2 重要性抽樣（importance sampling）
  • • 3.2.1 抽樣方式
    • 3.2.2 學習率變換（scaling learning rate）
    • 3.2.3 訓練過程
  • 3.3 總結

1、DQN的缺點

1.1 DQN

• 近似最優動作價值函數：$$Q(s,a;W)～Q^{?}(s,a)$$
• TD error:$${\delta }_t=q_t?y_t$$
• TD Learning:$$L(W)=\frac{1}{T}\sum _{t=1}^T\frac{{\delta }_t^2}{2}$$

1.2 DQN的不足

1.2.1 經驗浪費

• 一個 transition為：$$(s_t,a_t,r_t,s_{t+1})$$
• 經驗（所有的transition）為：$$\{(s1,a1,r1,s2,),...(s_t,a_t,r_t,s_{t+1}),...,s_T,a_T,r_T,s_{T+1}\}$$

1.2.2 相關更新（correlated update）

通常t時刻的狀態和t+1時刻的狀態是強相關的。
$$r(s_t,s_{t+1})$$

2 經驗回放

2.1 簡介

一個transition為：$$(s_t,a_t,r_t,s_{t+1})$$

回放容器（replay buffer）為：存儲n個transition

如果超過n個transition時，刪除最早進入容器的transition

容器容量（buffer capacity）n為一個超參數：$$\begin{gathered} n一般設置為較大的數，如10^5～10^6 \\ 具體大小取決于任務 \end{gathered}$$

2.2 計算步驟

最小化目標為：$$L(W)=\frac{1}{T}\sum _{t=1}^T\frac{{\delta }_t^2}{2}$$

使用隨機梯度下降（SGD）進行更新：

• 從buffer中隨機抽樣：$$(s_i,a_i,r_i,s_{i+1})$$
• 計算TD Error：$${\delta }_i$$
• 隨機梯度為：$$g_i=\frac{?\frac{{\delta }_i^2}{2}}{?W}={\delta }_i?\frac{?Q(s_i,a_i;W)}{?W}$$
• 梯度更新：$$W\leftarrow W?\alpha g_i$$

2.3 經驗回放的優點

打破了序列相關性

重復利用過去的經驗

3. 改進的經驗回放（Prioritized experience replay）

3.1 基本思想

不是所有transition都同等重要

TD error 越大，則transition更重要：$$|{\delta }_t|$$

3.2 重要性抽樣（importance sampling）

用非均勻抽樣替代均勻抽樣

3.2.1 抽樣方式

$$p_t\propto |{\delta }_t|+?$$

transition依據TD error進行降序處理，rank（t）代表第t個transition：$$p_t\propto \frac{1}{rank(t)}+?$$
總而言之，TD error越大，被抽樣的概率越大，通常按Mini-batch進行抽樣。

3.2.2 學習率變換（scaling learning rate）

為了抵消不同抽樣概率造成的學習偏差，需要對學習率進行變換

• SGD:$$W\leftarrow W?\alpha ?g$$
• 均勻抽樣：學習率對于所有transition都一樣(轉換因子為1)：$$p_1=p_2=...=p_n$$
• 非均勻抽樣：高概率對應低學習率：$$\begin{gathered} (n?p_t{)}^{?\beta } \\ \beta \in [0,1] \end{gathered}$$網絡剛開始訓練時，β設置較小，隨著網絡訓練，逐漸增加β至1。

3.2.3 訓練過程

如果一個transition最近被收集，還未知其TD Error，將其TD Error設為最大值，即具有最高的優先級。

每次從replay buffer中選取出一個transition，然后更新其TD Error：$${\delta }_t$$

3.3 總結

transitionsampling probabilitieslearning rates

$$(s_t,a_t,r_t,s_{t+1})$$	$$p_t\propto |{\delta }_t|+?$$	$$\alpha ?n?(p_t{)}^{?\beta }$$
$$(s_{t+1},a_{t+1},r_{t+1},s_{t+2})$$	$$p_{t+1}\propto |{\delta }_{t+1}|+?$$	$$\alpha ?n?(p_{t+1}{)}^{?\beta }$$
$$(s_{t+2},a_{t+2},r_{t+2},s_{t+3})$$	$$p_{t+2}\propto |{\delta }_{t+2}|+?$$	$$\alpha ?n?(p_{t+2}{)}^{?\beta }$$

本文內容為參考B站學習視頻書寫的筆記！

by CyrusMay 2022 04 10

我們在小孩和大人的轉角
蓋一座城堡
——————五月天（好好）——————

總結

以上是生活随笔為你收集整理的强化学习—— 经验回放（Experience Replay）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。