文章目錄

• 強化學習——有模型（Model-base）與無模型（Model-free）RL
• • Model-base RL
  • Model-free RL
  • 有模型與無模型預測和控制的方法
  • • 預測之間的區別
    • 控制之間的區別

強化學習——有模型（Model-base）與無模型（Model-free）RL

Model-base RL

? 在這個過程中，agent 沒有跟環境進行交互，環境的所有信息（轉移概率和價值函數都給了，不需要自己探索）都具有了。

Model-free RL

? 在這個過程中，agent沒有環境的信息，需要跟環境進行交互，采集到很多的軌跡數據，agent 從軌跡中獲取信息來改進策略，從而獲得更多的獎勵。

? 與環境交互獲得的軌跡如下

有模型與無模型預測和控制的方法

有模型（MDP）：

? 預測：動態規劃DP

? 控制：policy iteration；value iteration

無模型：

? 預測：MC；TD

? 控制：Sarsa；Q-learning；

預測之間的區別

DP和MC區別：

DP需要更新所有軌跡，需要知道環境；MC只需要更新該狀態下的一條軌跡，不需要知道環境；

TD和MC區別：

TD只走一步狀態值就更新；MC全部走完狀態值更新

bootstrapping 的意思就是我們基于之前估計的量來估計一個量。

控制之間的區別

policy iteration；value iteration和Sarsa；Q-learning；

? 有模型的policy iteration；value iteration是通過求狀態價值函數計算狀態動作價值函數，通過使用狀態動作價值函數來對策略進行max改善。

? 無模型的Sarsa；Q-learning使用計算出的Q函數直接改善，這是因為沒有環境所以求不出狀態價值函數。

總結

以上是生活随笔為你收集整理的强化学习3——有模型（Model-base）与无模型（Model-free）RL的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。