文章目錄

• 強(qiáng)化學(xué)習(xí)總結(jié)(3-4)
• • 無模型
  • • 預(yù)測價值函數(shù)
    • • 蒙特卡洛
      • 時序差分（TD）學(xué)習(xí)

強(qiáng)化學(xué)習(xí)總結(jié)(3-4)

? 最近呢，搞完有模型的強(qiáng)化學(xué)習(xí)之后，接下來就開始搞無模型的強(qiáng)化學(xué)習(xí)，發(fā)現(xiàn)還是無模型的強(qiáng)化學(xué)習(xí)應(yīng)用場景比較多，而且更加燒腦liaoer。

? 上面第一張圖是我們的model-base RL，第二張圖是我們的model-free RL，這里呢，可以看到model-base RL是沒有和環(huán)境的一個交互，換句話說呢沒有實(shí)際的交互，因?yàn)槟莻€環(huán)境中的轉(zhuǎn)移概率P我們是已知的，R也是已知的，我們只需要按照價值函數(shù)期望公式就能算出價值函數(shù)，以及optimal policy。然鵝，model-free RL它不知道P啊，它木得辦法啊，它只能去交互，在實(shí)際操作中看看我各個狀態(tài)間的轉(zhuǎn)移概率是多些，轉(zhuǎn)移的回報是多些。

無模型

預(yù)測價值函數(shù)

蒙特卡洛

? 所以，對于model-free的情況，它只能用蒙特卡洛的方法采樣多個軌跡進(jìn)行平均，才能得到價值函數(shù)啊。而我們的model-base用動態(tài)規(guī)劃預(yù)測，它就不用了采樣了啊，因?yàn)樗贾栏鱾€狀態(tài)的轉(zhuǎn)移情況也就是模型，所以能遍歷所有的狀態(tài)和動作。

時序差分（TD）學(xué)習(xí)

? 這里呢，和蒙特卡洛類似，只不過它是走m步(獲得m個R)就更更新一下當(dāng)前狀態(tài)的價值函數(shù)，通過不停地迭代和bootsrapping，達(dá)到一個收斂狀態(tài)，我們就說ok了，價值函數(shù)找到了。

下面就是兩個的區(qū)別，翠花~，上酸。。圖：

此前的內(nèi)容都是value-base RL學(xué)派的內(nèi)容，接下來討論policy-base Rl學(xué)派的內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的强化学习总结(3-4)——无模型的价值函数的预测，蒙特卡洛和TD时序差分方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。