1、多步自舉

? ? ? ? ? ? ? ? ?

一步TD:TD(0)，白色圈V函數，黑色Q函數，后繼狀態V函數更新當前狀態V函數，采樣，智能體和環境進行交互。根據狀態采取一個動作，轉為后繼狀態，環境給一個獎勵－－》采樣一步得到后繼狀態

MC 采樣到終止狀態。MC只采樣一步，之后的狀態利用之前的值函數進行對當前值函數的估計

多步自舉通過采樣和自舉的方法做一個權衡，TD(0)一步采樣之后多步自舉，現在多步采樣多步自舉

?

n步回報值：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

幾步為最優？

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ??

注意：為了計算n步回報值，需要維護R，S的存儲空間，對于后繼狀態不足n個的，使用MC目標值

2、TD(lambda)

? ? ???1）簡介

將n步回報值平均

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ??

lambda回報值

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? TD(lambda)加權函數

? ? ? ? ? ? ? ? ? ? ??? ? ? ? ??

TD(lambda)的兩種視角：

? ? ? ? ? ? ? 前向視角：主要是理解TD(lambda),上述是前向視角

? ? ? ? ? ? ? 后向視角：比較實用的算法

? ? ? ?TD(lambda)的前向視角：

? ? ? ? ??

? ? ? ? ? ? ? ?? ? ? ? ? ? ??

? ? ? ? TD(lambda)的后向視角：前向視角提供理論，后向視角提供實用算法，通過后向視角，可以實現在線更新，每步更新，從不完整狀態更新

? ? ? ?2）資格跡? ? ?

? ? ? ? ? ? ? ? ? ? ? ?

? ?后向視角的TD(lambda):

? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?簡單地來說，后向視角是秋后算賬，看前面那個狀態貢獻比較大，之后對這個狀態的資格跡加1，其它狀態資格跡不斷地衰減

? ? ? ?3）TD(lambda)的兩種視角的關系

? TD(lambda)與TD(0)

? ? ? ? ? ? ? ? ? ? ??? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?

TD(1)和MC:

? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

TD(lambda)和TD(0)

? ? ?當lambda=1時，信度分配會被延遲到終止狀態，這里考慮到片斷性任務，而且考慮離線更新，考慮一個片段整體的情況下，TD(1)總更新量等價于MC,在每一步更新上可能有差距

對s 的總更新量

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

前向視角和后向視角的TD(lambda)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

兩種視角下的等價性：

離線更新：

? ? ? ? ? ? ? ? ? ?

在線更新：

? ? ? ? ? ? ? ? ? ??? ? ? ? ??

小結：

? ? ? ? ? ? ? ? ??

3、TD(lambda)優化算法

n步Sarsa:

? ? ? ? ? ? ? ? ??

前向視角的Sarsa（lambda）算法

? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ?

后向視角的Sarsa(lambda)

? ? ? ? ? ? ? ? ? ?

Sarsa(lambda)算法：

? ? ? ? ? ? ? ? ? ??

總結

以上是生活随笔為你收集整理的重温强化学习之无模型学习方法：TD(lambda)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。