在前面我們討論了基于價值的強化學習(Value Based RL)和基于策略的強化學習模型(Policy Based RL)，本篇我們討論最后一種強化學習流派，基于模型的強化學習(Model Based RL)，以及基于模型的強化學習算法框架Dyna。

　　　　本篇主要參考了UCL強化學習課程的第8講和Dyna-2的論文。

 1. 基于模型的強化學習簡介

　　　　基于價值的強化學習模型和基于策略的強化學習模型都不是基于模型的，它們從價值函數，策略函數中直接去學習，不用學習環(huán)境的狀態(tài)轉化概率模型，即在狀態(tài)ss下采取動作aa,轉到下一個狀態(tài)s′s′的概率Pass′Pss′a。

　　　　而基于模型的強化學習則會嘗試從環(huán)境的模型去學習，一般是下面兩個相互獨立的模型：一個是狀態(tài)轉化預測模型，輸入當前狀態(tài)ss和動作aa，預測下一個狀態(tài)s′s′。另一個是獎勵預測模型，輸入當前狀態(tài)ss和動作aa，預測環(huán)境的獎勵rr。即模型可以描述為下面兩個式子：

St+1～P(St+1|St,At)St+1～P(St+1|St,At)

Rt+1～R(Rt+1|St,At)Rt+1～R(Rt+1|St,At)

　　　　如果模型P,RP,R可以準確的描述真正的環(huán)境的轉化模型，那么我們就可以基于模型來預測，當有一個新的狀態(tài)SS和動作AA到來時，我們可以直接基于模型預測得到新的狀態(tài)和動作獎勵，不需要和環(huán)境交互。當然如果我們的模型不好，那么基于模型預測的新狀態(tài)和動作獎勵可能錯的離譜。

　　　　從上面的描述我們可以看出基于模型的強化學習和不基于模型的強化學習的主要區(qū)別?

總結

以上是生活随笔為你收集整理的强化学习(十七) 基于模型的强化学习与Dyna算法框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。