在強(qiáng)化學(xué)習(xí)(十一) Prioritized Replay DQN中，我們討論了對(duì)DQN的經(jīng)驗(yàn)回放池按權(quán)重采樣來(lái)優(yōu)化DQN算法的方法，本文討論另一種優(yōu)化方法，Dueling DQN。本章內(nèi)容主要參考了ICML 2016的deep RL tutorial和Dueling DQN的論文<Dueling Network Architectures for Deep Reinforcement Learning>(ICML 2016)。

1. Dueling DQN的優(yōu)化點(diǎn)考慮

　　　　在前面講到的DDQN中，我們通過(guò)優(yōu)化目標(biāo)Q值的計(jì)算來(lái)優(yōu)化算法，在Prioritized Replay DQN中，我們通過(guò)優(yōu)化經(jīng)驗(yàn)回放池按權(quán)重采樣來(lái)優(yōu)化算法。而在Dueling DQN中，我們嘗試通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)優(yōu)化算法。

　　　　具體如何優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)呢？Dueling DQN考慮將Q網(wǎng)絡(luò)分成兩部分，第一部分是僅僅與狀態(tài)SS有關(guān)，與具體要采用的動(dòng)作AA無(wú)關(guān)，這部分我們叫做價(jià)值函數(shù)部分，記做V(S,w,α)V(S,w,α),第二部分同時(shí)與狀態(tài)狀態(tài)SS和動(dòng)作AA有關(guān)，這部分叫做優(yōu)勢(shì)函數(shù)(Advantage Function)部分,記為A(S,A,w,β)A(S,A,w,β),那么最終我們的價(jià)值函數(shù)可以重新表示為：

Q(S,A,w,α,β)=V(S,w,α)+A(S,A,w,β)Q(S,A,w,α,β)=V(S,w,α)+A(S,A,w,β)

　　　　其中，ww是公共部分的網(wǎng)絡(luò)參數(shù)，而αα是價(jià)值函數(shù)獨(dú)有部分的網(wǎng)絡(luò)參數(shù)，而ββ是優(yōu)勢(shì)函

總結(jié)

以上是生活随笔為你收集整理的强化学习(十二) Dueling DQN的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。