強(qiáng)化學(xué)習(xí)—— 經(jīng)驗(yàn)回放（Experience Replay）

• 1、DQN的缺點(diǎn)
• • 1.1 DQN
  • 1.2 DQN的不足
  • • 1.2.1 經(jīng)驗(yàn)浪費(fèi)
    • 1.2.2 相關(guān)更新（correlated update）
• 2 經(jīng)驗(yàn)回放
• • 2.1 簡介
  • 2.2 計算步驟
  • 2.3 經(jīng)驗(yàn)回放的優(yōu)點(diǎn)
• 3. 改進(jìn)的經(jīng)驗(yàn)回放（Prioritized experience replay）
• • 3.1 基本思想
  • 3.2 重要性抽樣（importance sampling）
  • • 3.2.1 抽樣方式
    • 3.2.2 學(xué)習(xí)率變換（scaling learning rate）
    • 3.2.3 訓(xùn)練過程
  • 3.3 總結(jié)

1、DQN的缺點(diǎn)

1.1 DQN

• 近似最優(yōu)動作價值函數(shù)：$$Q(s,a;W)～Q^{?}(s,a)$$
• TD error:$${\delta }_t=q_t?y_t$$
• TD Learning:$$L(W)=\frac{1}{T}\sum _{t=1}^T\frac{{\delta }_t^2}{2}$$

1.2 DQN的不足

1.2.1 經(jīng)驗(yàn)浪費(fèi)

• 一個 transition為：$$(s_t,a_t,r_t,s_{t+1})$$
• 經(jīng)驗(yàn)（所有的transition）為：$$\{(s1,a1,r1,s2,),...(s_t,a_t,r_t,s_{t+1}),...,s_T,a_T,r_T,s_{T+1}\}$$

1.2.2 相關(guān)更新（correlated update）

通常t時刻的狀態(tài)和t+1時刻的狀態(tài)是強(qiáng)相關(guān)的。
$$r(s_t,s_{t+1})$$

2 經(jīng)驗(yàn)回放

2.1 簡介

一個transition為：$$(s_t,a_t,r_t,s_{t+1})$$

回放容器（replay buffer）為：存儲n個transition

如果超過n個transition時，刪除最早進(jìn)入容器的transition

容器容量（buffer capacity）n為一個超參數(shù)：$$\begin{gathered} n一般設(shè)置為較大的數(shù)，如10^5～10^6 \\ 具體大小取決于任務(wù) \end{gathered}$$

2.2 計算步驟

最小化目標(biāo)為：$$L(W)=\frac{1}{T}\sum _{t=1}^T\frac{{\delta }_t^2}{2}$$

使用隨機(jī)梯度下降（SGD）進(jìn)行更新：

• 從buffer中隨機(jī)抽樣：$$(s_i,a_i,r_i,s_{i+1})$$
• 計算TD Error：$${\delta }_i$$
• 隨機(jī)梯度為：$$g_i=\frac{?\frac{{\delta }_i^2}{2}}{?W}={\delta }_i?\frac{?Q(s_i,a_i;W)}{?W}$$
• 梯度更新：$$W\leftarrow W?\alpha g_i$$

2.3 經(jīng)驗(yàn)回放的優(yōu)點(diǎn)

打破了序列相關(guān)性

重復(fù)利用過去的經(jīng)驗(yàn)

3. 改進(jìn)的經(jīng)驗(yàn)回放（Prioritized experience replay）

3.1 基本思想

不是所有transition都同等重要

TD error 越大，則transition更重要：$$|{\delta }_t|$$

3.2 重要性抽樣（importance sampling）

用非均勻抽樣替代均勻抽樣

3.2.1 抽樣方式

$$p_t\propto |{\delta }_t|+?$$

transition依據(jù)TD error進(jìn)行降序處理，rank（t）代表第t個transition：$$p_t\propto \frac{1}{rank(t)}+?$$
總而言之，TD error越大，被抽樣的概率越大，通常按Mini-batch進(jìn)行抽樣。

3.2.2 學(xué)習(xí)率變換（scaling learning rate）

為了抵消不同抽樣概率造成的學(xué)習(xí)偏差，需要對學(xué)習(xí)率進(jìn)行變換

• SGD:$$W\leftarrow W?\alpha ?g$$
• 均勻抽樣：學(xué)習(xí)率對于所有transition都一樣(轉(zhuǎn)換因子為1)：$$p_1=p_2=...=p_n$$
• 非均勻抽樣：高概率對應(yīng)低學(xué)習(xí)率：$$\begin{gathered} (n?p_t{)}^{?\beta } \\ \beta \in [0,1] \end{gathered}$$網(wǎng)絡(luò)剛開始訓(xùn)練時，β設(shè)置較小，隨著網(wǎng)絡(luò)訓(xùn)練，逐漸增加β至1。

3.2.3 訓(xùn)練過程

如果一個transition最近被收集，還未知其TD Error，將其TD Error設(shè)為最大值，即具有最高的優(yōu)先級。

每次從replay buffer中選取出一個transition，然后更新其TD Error：$${\delta }_t$$

3.3 總結(jié)

transitionsampling probabilitieslearning rates

$$(s_t,a_t,r_t,s_{t+1})$$	$$p_t\propto |{\delta }_t|+?$$	$$\alpha ?n?(p_t{)}^{?\beta }$$
$$(s_{t+1},a_{t+1},r_{t+1},s_{t+2})$$	$$p_{t+1}\propto |{\delta }_{t+1}|+?$$	$$\alpha ?n?(p_{t+1}{)}^{?\beta }$$
$$(s_{t+2},a_{t+2},r_{t+2},s_{t+3})$$	$$p_{t+2}\propto |{\delta }_{t+2}|+?$$	$$\alpha ?n?(p_{t+2}{)}^{?\beta }$$

本文內(nèi)容為參考B站學(xué)習(xí)視頻書寫的筆記！

by CyrusMay 2022 04 10

我們在小孩和大人的轉(zhuǎn)角
蓋一座城堡
——————五月天（好好）——————

總結(jié)

以上是生活随笔為你收集整理的强化学习—— 经验回放（Experience Replay）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。