文章目錄

• 強化學習——概述
• • 組成
  • • 策略：行為函數
    • 價值函數：狀態和行為的得分
    • 模型：整個世界的表達

強化學習——概述

組成

策略：行為函數

? 分為兩種：

? 概率型策略：從策略$\pi$中，按照概率$\pi (\mathrm{a}\mid \mathrm{s})=\mathrm{P}\left({\mathrm{a}}_{\mathrm{t}}=\mathrm{a}\mid {\mathrm{s}}_{\mathrm{t}}=\mathrm{s}\right)$采樣一個a。

? 確定型策略：從策略$\pi$中，選擇一個最大概率的策略$a^{?}=\arg {\max }_a\pi (a\mid s)$

價值函數：狀態和行為的得分

? 已知$\pi$的時候能得到多少獎勵（期望平均值）

? 分為兩種：

? 狀態價值函數：衡量一個狀態的價值（其實是一個狀態采取所有行為后的一個價值的期望值）

$v_{\pi }(s)?{\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s\right],\text{?for?all?}s\in \mathcal{S}$

? Q-函數：衡量一個狀態采取一個動作后的價值（是強化學習的一個目標，最高的Q-函數值對應的a就是最有策略采取的動作）

$q_{\pi }(s,a)?{\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s,A_t=a\right]$

模型：整個世界的表達

? 預測下一個環境（世界，狀態）

? 兩部分組成：

? 1 狀態s采取了一個策略a，有多少概率到達$s^{\prime }$。

? 2 狀態s采取了一個策略a，能得到多大的獎勵
$$\begin{array}{rl}& \text{?Predict?the?next?state:?}{\mathcal{P}}_{s{s}^{\prime }}^a=\mathbb{P}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]\\ & \text{?Predict?the?next?reward:?}{\mathcal{R}}_s^a=\mathbb{E}\left[R_{t+1}\mid S_t=s,A_t=a\right]\end{array}$$

總結

以上是生活随笔為你收集整理的强化学习1——策略，价值函数，模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。