Counterfactual Multi-Agent Policy Gradients

論文鏈接：https://arxiv.org/pdf/1705.08926.pdf

1. 問(wèn)題提出（解決了什么問(wèn)題？）

---

在現(xiàn)實(shí)世界中，有非常多的問(wèn)題需要多個(gè)單位之間的“合作”才能完成任務(wù)，這就需要學(xué)習(xí)一種非中心式策略的控制系統(tǒng)，即每個(gè)agent有著屬于自己的決策大腦，而非靠擁有全局信息的決策系統(tǒng)下達(dá)指令（畢竟有時(shí)候全局的信息量過(guò)于龐大，并且agent到中心網(wǎng)絡(luò)的通信不一定每時(shí)每刻都穩(wěn)定，因此中心式的決策系統(tǒng)很難實(shí)現(xiàn)）。因此，該論文提出了一種方法用于學(xué)習(xí)非中心式的、部分可觀測(cè)的多智能體協(xié)同的控制策略。
COMA利用全局評(píng)價(jià)網(wǎng)絡(luò)（critic）來(lái)評(píng)價(jià)Q值，利用非全局行為網(wǎng)絡(luò)（actor）來(lái)決定agent的行為。由于在訓(xùn)練時(shí)使用的是全局網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)，并且采用參數(shù)共享的方式，使得agent能夠在做行為選擇的時(shí)候參考其他agent的狀態(tài)再做決定，這就加入了“協(xié)同”的功能。

2. 介紹

該論文分為以下三個(gè)部分：

• 提出傳統(tǒng)的RL算法在協(xié)同任務(wù)中不足

若使用傳統(tǒng)的RL算法來(lái)解決多智能體的問(wèn)題，則會(huì)存在以下三個(gè)不足之處：

輸入的action space應(yīng)該是所有agent的聯(lián)合動(dòng)作空間（joint action space），這個(gè)空間會(huì)隨著agent數(shù)量增加而增加。

此外，由于部分可觀測(cè)性（即單個(gè)agent在某一時(shí)刻只能觀測(cè)到部分環(huán)境的信息，無(wú)法獲得全局信息，比如一個(gè)小兵只能看到視野范圍內(nèi)的地圖信息，視野外的地圖信息是無(wú)法觀測(cè)的），使得agent在做決策時(shí)只能依照自己當(dāng)前的部分觀測(cè)信息（local observation），沒(méi)有與其他agent進(jìn)行信息共享的能力。

使用聯(lián)合動(dòng)作空間獲得的reward是來(lái)自所有agent采取的所有action共同得到的reward，這就很難知道每一個(gè)agent的action應(yīng)該得到的多少子回報(bào)，這就是原文中提到的 “Individual Reward Assignment”。

• COMA中的主要思想

COMA是一種基于actor-critic的變種方法，其中actor是依照critic評(píng)估出來(lái)的梯度值進(jìn)行更新學(xué)習(xí)的。整個(gè)算法共有三個(gè)比較核心的思想：

學(xué)習(xí)過(guò)程中會(huì)有一個(gè)中心式評(píng)價(jià)網(wǎng)絡(luò), 這個(gè)網(wǎng)絡(luò)主要用于對(duì)actor選擇的決策進(jìn)行好壞評(píng)價(jià)以此來(lái)教會(huì)actor如何做一個(gè)好的決策。為什么稱為中心式的網(wǎng)絡(luò)？這是因?yàn)樵摼W(wǎng)絡(luò)可以獲取場(chǎng)景中的全局信息，包括所有agent在這一時(shí)刻采取的行為信息和觀測(cè)信息。但是，單個(gè)agent在利用actor做行為選擇時(shí)只能依照自身的當(dāng)前觀測(cè)信息和經(jīng)歷過(guò)的歷史信息進(jìn)行決策，做決策時(shí)是無(wú)法獲得全局信息的。這種方式被稱為“中心式評(píng)價(jià)，邊緣式?jīng)Q策”。

COMA引入了一個(gè)概念叫做 “反事實(shí)準(zhǔn)則(counterfactual baseline)” ，這個(gè)概念是整篇論文的重點(diǎn)。為了解決 Individual Reward Assignment 的問(wèn)題，反事實(shí)準(zhǔn)則提出，每個(gè)agent應(yīng)該擁有不同的reward，這樣才能知道在這一次的全局行為決策中單個(gè)agent的action貢獻(xiàn)是多少。而單個(gè)agent的reward通過(guò)兩個(gè)值計(jì)算得來(lái)：當(dāng)前情況下的全局reward和將該agent行為替換為一個(gè)默認(rèn)行為后的全局reward。可以這樣理解：該回報(bào)值其實(shí)計(jì)算的是Agent $a$采取行為 $u$ 會(huì)比采取默認(rèn)行為 $c_a$ 要更好（$D^a$ > 0）還是更壞（$D^a$ < 0）。這個(gè)特定agent下特定動(dòng)作的reward就被稱為counterfactual baseline，COMA使得每一個(gè)agent的每一個(gè)action都有一個(gè)自身的counterfactual baseline。

如上面所說(shuō)，每一個(gè)agent的每一個(gè)動(dòng)作都會(huì)有一個(gè)counterfactual baseline，如果要計(jì)算出所有動(dòng)作的baseline，就需要把每一個(gè)行為替換成 ‘默認(rèn)行為’ 并與環(huán)境互動(dòng)得到一個(gè)reward。當(dāng)agent數(shù)目很多且聯(lián)合動(dòng)作空間很大的時(shí)候，這種方法顯然是不可取的。因此，COMA提出：使用中心critic網(wǎng)絡(luò)來(lái)estimate每一個(gè)動(dòng)作的Q值，來(lái)代替與環(huán)境交互后得到的reward。

• 驗(yàn)證場(chǎng)景及其結(jié)果分析
  
  
  

3. 背景

3.1 數(shù)學(xué)建模

論文中將多智能體協(xié)同任務(wù)想象成一個(gè)隨機(jī)決策的游戲，這個(gè)游戲 $G$ 包含以下幾個(gè)因素：
$$G=<S,U,P,r,Z,O,n,\gamma >$$
其中，

• $S\to$ 環(huán)境狀態(tài)集： $?s\in S$.

• $U\to$ 所有動(dòng)作樣本空間：在每一時(shí)刻，每個(gè)agent采取一個(gè)行為 $u_t^a\in U$，并組成聯(lián)合動(dòng)作空間 $\text{u}\in U$.

• $P\to$ 狀態(tài)轉(zhuǎn)移函數(shù)：根據(jù)當(dāng)前狀態(tài)$s$和聯(lián)合動(dòng)作空間$\text{u}$，計(jì)算一時(shí)刻狀態(tài)$s^{\prime }$，$P(s^{\prime }|s,\text{u})$.

• $r\to$ 全局回報(bào)值：$r(s,\text{u})$.

• $Z\to$ 局部觀測(cè)集：單個(gè)agent在每一時(shí)刻有一個(gè)局部觀測(cè) $z\in Z$.

• $O\to$ 局部觀測(cè)函數(shù)：Agent $a$ 的局部觀測(cè) $z$ 是根據(jù)全局環(huán)境信息 $s$ 通過(guò) $O$ 函數(shù)計(jì)算得來(lái)，$z=O(s,a)$.

• $n\to$ agent的個(gè)數(shù)，共有 $n$ 個(gè).

• $\gamma \to$ 折扣因子，用于指定計(jì)算未來(lái)回報(bào)時(shí)的衰減強(qiáng)弱.

此外，每個(gè)agent有一個(gè) action-observation 的歷史記錄 ${\tau }^a$，actor在做決策的時(shí)候是基于歷史信息做的決策 ${\pi }^a(u^a|{\tau }^a)$. 其實(shí)這里基于歷史記錄做決策可以理解為：之前在做update決策網(wǎng)絡(luò)參數(shù)的時(shí)候，是基于之前的歷史信息做的更新，所以用更新后的actor去做決策就可以看作是記住了歷史經(jīng)驗(yàn)后做的決策了。

3.2 基本概念回顧

這里在回顧一下DQN中的一些基本概念，后續(xù)內(nèi)容會(huì)用的到：

累計(jì)回報(bào)： $R_t={\sum }_{l=0}^{\infty }{\gamma }^l{r}_{t+l}$，其中 $\gamma$ 是折扣因子；
評(píng)價(jià)函數(shù)分為兩個(gè)：對(duì)當(dāng)前狀態(tài)的評(píng)價(jià)函數(shù) $V^{\pi }(s_t)$，對(duì)當(dāng)前狀態(tài)下當(dāng)前聯(lián)合動(dòng)作空間的評(píng)價(jià)函數(shù) $Q^{\pi }(s_t,u_t)$;
$$V^{\pi }(s_t)=E[R_t|s_t]Q^{\pi }(s_t,{\text{u}}_t)=E[R_t|s_t,{\text{u}}_t]$$
優(yōu)勢(shì)函數(shù)： $A^{\pi }(s_t,{\text{u}}_t)=Q^{\pi }(s_t,{\text{u}}_t)?V^{\pi }(s_t)$.

Policy Gradient ：Value-Based中主要使用的更新方法——梯度上升法，梯度 $g$ 可以表示為：
$$g=\sum _{t=0}^T{R}_t{▽}_{{\theta }^{\pi }}log\pi (u_t|s_t)$$

關(guān)于Actor-Critic模型：

AC模型中，actor是根據(jù)critic所求得的梯度來(lái)進(jìn)行學(xué)習(xí)的。因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$R_t$是一個(gè)期望值，無(wú)法求得精確的值，因此需要用其他的表達(dá)式來(lái)近似替代$R_t$。替代$R_t$一共有兩種方式：

優(yōu)勢(shì)函數(shù)法：使用 $Q(s_t,u_t)?b(s_t)$ 來(lái)代替 $R_t$，其中 $b$ 為一個(gè)基準(zhǔn)值，用于保證所有action的Q值有正有負(fù)，通常可以用 $V(s_t)$ 來(lái)代替 $b$ 值。也就是用 $Q^{\pi }(s_t,u_t)?V^{\pi }(s_t)=A(s_t,u_t)$ 來(lái)代替 $R_t$。

TD法：使用 $r_t+\gamma V(s_{t+1})?V(s_t)$ 來(lái)代替 $R_t$ 。

如何訓(xùn)練中心評(píng)價(jià)網(wǎng)絡(luò)critic：

在這篇論文中，作者訓(xùn)練了一個(gè)中心評(píng)價(jià)網(wǎng)絡(luò)$f^c(?,{\theta }^c)$，網(wǎng)絡(luò)參數(shù)為 ${\theta }^c$，使用一種稍微改變了下的TD法進(jìn)行學(xué)習(xí)——$TD(\lambda )$ 將$n$ 步的reward值進(jìn)行綜合來(lái)得到一個(gè)平均值 $G_t^{(n)}={\sum }_{l=1}^n{\gamma }^{l?1}{r}_{t+l}+{\gamma }^n{f}^c({?}_{t+n},{\theta }^c)$。使用梯度下降的方法來(lái)更新網(wǎng)絡(luò)參數(shù)${\theta }^c$，$L_t$表示$t$時(shí)刻的損失函數(shù):
$$L_t({\theta }^c)=(y^{(\lambda )}?f^c{(}_{?t},{\theta }^c){)}^2$$
其中：

$$\begin{gathered} y^{(\lambda )}=(1?\lambda )\sum _{n=1}^{\infty }{\lambda }^{n?1}{G}_t^{(n)} \\ {G}_t^{(n)}=\sum _{l=1}^n{\gamma }^{l?1}{r}_{t+l}+{\gamma }^n{f}^c({?}_{t+n},{\theta }^c) \end{gathered}$$

因此，整個(gè)公式也可以表示為：

$$L_t({\theta }^c)=((1?\lambda )\sum _{n=1}^{\infty }{\lambda }^{n?1}(\sum _{l=1}^n{\gamma }^{l?1}{r}_{t+l}+{\gamma }^n{f}^c({?}_{t+n},{\theta }^c))?f^c({?}_t,{\theta }^c){)}^2$$

Note：公式中一共有兩個(gè) $f^c(?,{\theta }^c)$ 網(wǎng)絡(luò)，但是前一個(gè)$f^c()$是estimate出來(lái)的目標(biāo)值 $y^{(\lambda )}$，為了加快模型的收斂速度，第一個(gè)的 $f^c()$ 中的${\theta }^c$ 應(yīng)該被fix住（式子中的紅色部分），若干個(gè)steps后再被update，這和target network的思路是一樣的。

4. 算法分析

4.1 Independent Actor-Critic

IAC方法指每一個(gè)agent學(xué)習(xí)一個(gè)獨(dú)立的actor-critic，在這篇論文中采用參數(shù)共享的方法，使得所有agent共用一個(gè)actor和一個(gè)critic。在學(xué)習(xí)的時(shí)候，critic只能根據(jù)agent自身的local observation進(jìn)行估計(jì)值，并且也只能估計(jì)該agent的單個(gè)動(dòng)作$u^a$的效用，而不是聯(lián)合動(dòng)作空間$\text{u}$的效用。
論文中對(duì)傳統(tǒng)的IAC算法有兩處改變:

在估計(jì)V值時(shí)，每個(gè) agent 的 critic 估計(jì)的是$V({\tau }^a)$，估計(jì)的是這個(gè)agent歷史action-observation數(shù)據(jù)的效用值，而不是傳統(tǒng)的當(dāng)前狀態(tài)的效用值$V(s_t)$。$V$評(píng)價(jià)網(wǎng)絡(luò)基于$TD(\lambda )$方法進(jìn)行梯度更新，見上面。

在估計(jì)Q值時(shí)，每個(gè)agent的critic估計(jì)的是$Q({\tau }^a,u^a)$, 也是基于action-observation的歷史數(shù)據(jù)對(duì)當(dāng)前行為$u^a$進(jìn)行效用估計(jì)。$Q$評(píng)價(jià)網(wǎng)絡(luò)是通過(guò)梯度下降優(yōu)勢(shì)函數(shù)$A({\tau }^a,u^a)$來(lái)進(jìn)行學(xué)習(xí)的，其中優(yōu)勢(shì)函數(shù)的定義為：單個(gè)動(dòng)作產(chǎn)生的Q值減去所有動(dòng)作產(chǎn)生的Q值，即 $A({\tau }^a,u^a)=Q({\tau }^a,u^a)?V({\tau }^a)$。其中$V({\tau }^a)$定義為：在已知"動(dòng)作-觀測(cè)"歷史數(shù)據(jù)下，所有動(dòng)作產(chǎn)生的效用總和，即$V({\tau }^a)={\sum }_{u^a}\pi (u^a|{\tau }^a)Q({\tau }^a,u^a)$。

IAC的缺陷在于，訓(xùn)練時(shí)只能依據(jù)單個(gè)agent的局部觀測(cè)和單個(gè)action的效用評(píng)定，這樣很難學(xué)出一套好的協(xié)同策略。

4.2 Counterfatual Multi-Agent Policy Gradient

COMA的主要思想有三個(gè)：中心式評(píng)價(jià)網(wǎng)絡(luò)，使用反事實(shí)準(zhǔn)為每一個(gè)行為分配不同的reward值，高效計(jì)算每一個(gè)不同的reward值，下面對(duì)每一個(gè)思想進(jìn)行介紹講解。

• Center critic

在IAC算法中，訓(xùn)練評(píng)價(jià)網(wǎng)絡(luò)時(shí)只用到了單個(gè)agent的history ${\tau }^a$。既然這個(gè)評(píng)價(jià)網(wǎng)絡(luò)只會(huì)在訓(xùn)練的時(shí)候使用，那么我們完全可以把全局狀態(tài) $s$ 輸入用于訓(xùn)練，若全局觀測(cè)不可獲得，則將當(dāng)前所有agent的"action-observation"的歷史記錄 $\tau$代替全局狀態(tài) $s$，如下圖所示:

圖中，每一個(gè)Actor都會(huì)給出此刻的決策行為 $u_t$，并且環(huán)境也會(huì)給出此時(shí)環(huán)境的全局信息 $s_t$ 以及此刻的回報(bào)值 $r_t$。

一種很簡(jiǎn)單的方式是直接使用TD-Error來(lái)進(jìn)化這個(gè)網(wǎng)絡(luò)：
$$g={▽}_{{\theta }_{\pi }}log\pi (u|{\tau }_t^a)(r+\gamma V(s_{t+1})?V(s_t))$$
但是，這樣的方法不能解決 Individual Reward Assignment 的問(wèn)題，因?yàn)門D算出來(lái)的Reward是一個(gè)全局Reward ，無(wú)法推算出每一個(gè)action的單獨(dú)Reward值。為此，論文提出了"反事實(shí)準(zhǔn)則"。

• Counterfatual baseline

反事實(shí)準(zhǔn)則（Conuterfatual Baseline）允許為不同的action獨(dú)立分配一個(gè)不同的獨(dú)立reward。這個(gè)獨(dú)立reward $D^a$ 需要根據(jù)當(dāng)前情況下的全局reward和將該agent行為替換為一個(gè)'默認(rèn)行為'后的全局reward兩個(gè)值進(jìn)行計(jì)算，
$$D^a=r(s,\text{u})?r(s,({\text{u}}^{?a},c_a))$$
其中，${\text{u}}^{?a}$ 代表聯(lián)合動(dòng)作空間除去當(dāng)前Agent $a$ 這一時(shí)刻采取的行為。$({\text{u}}^{?a},c_a)$ 代表當(dāng)前Agent $a$ 采取"默認(rèn)行為" $c_a$ 后所有Agent的聯(lián)合動(dòng)作空間。在學(xué)習(xí)過(guò)程中，agent會(huì)想辦法最大化回報(bào)值 $D^a$，這其實(shí)就是在想辦法最大化全局的reward $r(s,\text{u})$，因?yàn)槭阶拥暮箜?xiàng)跟agent當(dāng)前采取什么行為是沒(méi)有關(guān)系的。關(guān)于$D^a$這個(gè)式子可以這樣理解：回報(bào)值$D^a$其實(shí)計(jì)算的是Agent $a$采取行為 $u$ 會(huì)比采取默認(rèn)行為 $c_a$ 要更好（$D^a$ > 0）還是更壞（$D^a$ < 0）。
這個(gè)想法是正確的，但是要想計(jì)算出每一個(gè)動(dòng)作的$D^a$值，就需要將每個(gè)動(dòng)作都替換成默認(rèn)行為$c_a$去與環(huán)境互動(dòng)一次得到最終結(jié)果，這樣采樣次數(shù)會(huì)非常多；此外，默認(rèn)行為的選取也是無(wú)法預(yù)測(cè)的，到底選擇哪一個(gè)行為當(dāng)作默認(rèn)行為才是最合適的也是比較難決定的。因此，文中提出使用"函數(shù)擬合"的方式來(lái)計(jì)算$D^a$。

前面提到，中心評(píng)價(jià)網(wǎng)絡(luò)可以評(píng)價(jià)一個(gè)聯(lián)合動(dòng)作空間 $\text{u}$ 在一個(gè)狀態(tài) $s$ 下的 $Q$ 值。由于默認(rèn)行為很難定義，于是我們把采取 “默認(rèn)行為” 得到的效用值近似為采取一個(gè)Agent “所有可能行為” 的效用值總和。因此，$D^a$ 就可以用以下等式進(jìn)行計(jì)算：
$$A^a(s,\text{u})=Q(s,\text{u})?\sum _{u_a^{\prime }}{\pi }^a(u^{\prime a}|{\tau }^a)Q(s,({\text{u}}^{?a},u^{\prime a}))$$
其中，$A^a(s,\text{u})$ 就是 $D^a$ 的等效近似。

• Efficient evaluation of baseline

盡管baseline的方式解決了獨(dú)立回報(bào)的問(wèn)題，但是如果要建立一個(gè)網(wǎng)絡(luò)，接收$s,\text{u}$兩個(gè)輸入，輸出為所有agent的所有action的話，那么輸出神經(jīng)元的個(gè)數(shù)就等于 $|U{|}^n$（n個(gè)agent有|U|個(gè)動(dòng)作）。當(dāng)agent數(shù)目很多或動(dòng)作空間很大的時(shí)候就會(huì)造成輸出層無(wú)法實(shí)現(xiàn)。為此，COMA構(gòu)造了一種網(wǎng)絡(luò)，該網(wǎng)絡(luò)接收 ${\text{u}}_t^{?a},s_t,o_t^a,a,{\text{u}}_{t?1}^{?a}$ 等參數(shù)，輸出為Agent $a$ 每一個(gè)action的Q-value值，輸出維度由 $|U{|}^n$ 降到了 $|U|$ ，如下圖所示。

5. 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)場(chǎng)景

該論文使用星際爭(zhēng)霸游戲作為實(shí)驗(yàn)場(chǎng)景，讓算法控制的小隊(duì)和游戲AI控制的小隊(duì)進(jìn)行對(duì)戰(zhàn)，并計(jì)算勝率。算法小隊(duì)中，每一個(gè)作戰(zhàn)單位都由一個(gè)去中心式的controller進(jìn)行控制。為了提升游戲難度，比賽加入了 “部分可觀測(cè)” 條件的限制，視野范圍等于攻擊范圍。這意味著當(dāng)敵人沒(méi)有進(jìn)入攻擊范圍內(nèi)時(shí)，作戰(zhàn)單位是不知道敵人位置信息的，因此agent不僅要學(xué)會(huì)如何去探索敵方目標(biāo)，還需要與隊(duì)友共享敵方目標(biāo)的位置信息。為了證明加入 “部分可觀測(cè)” 限制后問(wèn)題變得有多復(fù)雜，作者做了實(shí)驗(yàn)對(duì)比：當(dāng)不加入觀測(cè)限制時(shí)，普通的啟發(fā)式算法能夠到達(dá)98%的勝率；加入限制后，勝率降到了66%。

5.2 動(dòng)作空間及回報(bào)值

每個(gè)agent都有著相同的動(dòng)作空間：{ move[direction]，attack[enemy_id]，stop，noop }。
一次Episode下的全局Reward為：對(duì)敵人造成的傷害 $D_e$ 減去我方受到的傷害 $D_u$ 除以2，此外，若擊毀一個(gè)敵方單位獲得10點(diǎn)的回報(bào)，即：

$$R(t)=D_e?\frac{D_u}{2}+10n$$
其中，$n$為摧毀敵方單位數(shù)。若有一方將敵方團(tuán)滅，則獲得的回報(bào)值為全隊(duì)剩余血量+200。

5.3 狀態(tài)特征

算法一共有兩個(gè)網(wǎng)絡(luò)：actor 和 critic。其中actor接收agent的局部觀測(cè)信息；critic接收全局狀態(tài)信息。

• 局部觀測(cè)信息

由于作戰(zhàn)單位的視野范圍等于攻擊范圍，因此觀測(cè)到的視野是以該單位為中心的一個(gè)圓。局部觀測(cè)信息是指在視野圓圈內(nèi)，每一個(gè)單位（包括敵方和友方）的以下幾個(gè)信息：distance，relative x，relative y，unit type，shield。其中 unit type 是指作戰(zhàn)單位是何種兵種，shield是為了模擬平A的冷卻（因?yàn)閠切割的很小，每一時(shí)刻Agent都有可能選擇平A這個(gè)動(dòng)作，所以在平A還沒(méi)有冷卻好的時(shí)候，敵方單位會(huì)套上一個(gè)無(wú)敵的盾來(lái)抵消這一次平A受到的傷害）。
疑問(wèn)：觀測(cè)范圍中的單位數(shù)量應(yīng)該是隨時(shí)間變化而變化的，但網(wǎng)絡(luò)的輸入層神經(jīng)元應(yīng)該是固定的，怎么解決變長(zhǎng)的問(wèn)題？(未解決)

• 全局觀測(cè)信息

全局觀測(cè)信息包含了所有單位的relative x，relative y，unit type，shield，healthy point，cooldown信息，其中 relative 的坐標(biāo)信息是相對(duì)據(jù)地圖中心的相對(duì)坐標(biāo)，不再是針對(duì)于某一個(gè)特定目標(biāo)的坐標(biāo)。

喂給獨(dú)立回報(bào)計(jì)算網(wǎng)絡(luò)（Q-function critic，用于計(jì)算單個(gè)動(dòng)作獨(dú)立回報(bào)）的數(shù)據(jù)包括全局觀測(cè)信息 + 被評(píng)估agent此刻局部觀測(cè)信息。

喂給中心評(píng)價(jià)網(wǎng)絡(luò)（center critic，用于評(píng)估全局狀態(tài)$V(s_t)$）的數(shù)據(jù)包括全局觀測(cè)信息 + 全部agent此刻局部觀測(cè)信息。

5.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如下圖所示，其中3m，5m分別指代一個(gè)作戰(zhàn)小隊(duì)中包含3個(gè)，5個(gè)marine（一種兵種）；2d_3z指代一個(gè)作戰(zhàn)小隊(duì)中包含2條龍和3個(gè)狂熱者。

總結(jié)

以上是生活随笔為你收集整理的COMA（二）：Counterfactual Multi-Agent Policy Gradients 论文讲解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。