在強化學習（二）馬爾科夫決策過程(MDP)中，我們討論了用馬爾科夫假設來簡化強化學習模型的復雜度，這一篇我們在馬爾科夫假設和貝爾曼方程的基礎上討論使用動態規劃(Dynamic Programming, DP)來求解強化學習的問題。

　　　　動態規劃這一篇對應Sutton書的第四章和UCL強化學習課程的第三講。

1. 動態規劃和強化學習問題的聯系

　　　　對于動態規劃，相信大家都很熟悉，很多使用算法的地方都會用到。就算是機器學習相關的算法，使用動態規劃的也很多，比如之前講到的隱馬爾科夫模型HMM（二）前向后向算法評估觀察序列概率，隱馬爾科夫模型HMM（四）維特比算法解碼隱藏狀態序列， 都是動態規劃的典型例子。

　　　　動態規劃的關鍵點有兩個：一是問題的最優解可以由若干小問題的最優解構成，即通過尋找子問題的最優解來得到問題的最優解。第二是可以找到子問題狀態之間的遞推關系，通過較小的子問題狀態遞推出較大的子問題的狀態。而強化學習的問題恰好是滿足這兩個條件的。

　　　　我們先看看強化學習的兩個基本問題。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的强化学习（三）用动态规划（DP）求解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。