雷鋒網(wǎng) AI 科技評論按：在過去的兩三年中，我們經(jīng)常聽說人工智能在棋牌類游戲（博弈）中取得新的成果，比如基于深度強(qiáng)化學(xué)習(xí)的 AlphaGo 擊敗了人類世界冠軍，由 AlphaGo 進(jìn)化而來的 AlphaZero 還一并搞定了國際象棋和日本象棋；基于博弈論的冷撲大師（Libratus）也在無限注德州撲克比賽中擊敗了人類職業(yè)選手；今年在澳門舉行的 IJCAI 2019 上我們也發(fā)現(xiàn)了一篇斗地主 AI 論文。

不過，雖然這些團(tuán)隊各自做出了令人矚目的成果，但不管對于工業(yè)界還是學(xué)術(shù)界來說，都缺少一個迅速開發(fā)和測試棋牌類 AI 的環(huán)境。最近德州農(nóng)工大學(xué)胡俠帶領(lǐng)的華人團(tuán)隊就給出了他們的解決方案，開源了基于牌類游戲設(shè)計的強(qiáng)化學(xué)習(xí) Python 平臺 RLCard，在打包實(shí)現(xiàn)了多種牌類游戲算法的同時，也提供了中西方最流行的幾種牌類游戲環(huán)境（包括斗地主、麻將、21點(diǎn)、德州撲克、UNO等），致力于為強(qiáng)化學(xué)習(xí)提供一個統(tǒng)一、易用的開發(fā)和測試環(huán)境。雷鋒網(wǎng) AI 科技評論介紹如下。

RLCard 介紹

具體來說，RLCard 實(shí)現(xiàn)了四種有代表性的強(qiáng)化學(xué)習(xí)算法：作為強(qiáng)化學(xué)習(xí)的代表算法的 DQN、作為帶有自我學(xué)習(xí)的強(qiáng)化學(xué)習(xí)的代表算法的 NSFP、反事實(shí)后悔最小化 CFR 以及深度反事實(shí)后悔最小化 DeepCFR。RLCard 中也帶有一個隨機(jī)智能體。

RLCard 中實(shí)現(xiàn)了八種牌類游戲環(huán)境：二十一點(diǎn)（Blackjack），三種德州撲克（簡化版德?lián)?Leduc Hold'em，有限制德?lián)?Limit Texas Hold'em 以及無限制德?lián)?No-limit Texas Hold'em ），斗地主，麻將，UNO 以及升級（目前升級游戲環(huán)境還在開發(fā)中）。

RLCard 安裝快速、使用簡單，提供大量的實(shí)例、文檔及 demo；提供人類與 AI，以及 AI 與 AI 間對戰(zhàn)的接口，支持并行加速。平臺設(shè)計遵循以下設(shè)計原則：

易于比較。在 RLCard 中的得到結(jié)果可以方便比較。不同的研究者會提出各種各樣的算法，RLCard 通過 AI 間博弈進(jìn)行性能評估。通過設(shè)置同樣的隨機(jī)種子，同樣的結(jié)果可以在多次實(shí)驗(yàn)上復(fù)現(xiàn)。

易用。盡可能用簡單的接口產(chǎn)生游戲數(shù)據(jù)，并且支持對游戲狀態(tài)編碼、動作編碼、獎勵函數(shù)設(shè)計、游戲規(guī)則的自定義。

可擴(kuò)展。盡可能最小化環(huán)境依賴，使得工具包維護(hù)簡單。新游戲遵循工具包的設(shè)計原則也可以方便加入。

對于游戲環(huán)境實(shí)現(xiàn)，RLCard 平臺抽象并定義了這些游戲概念：玩家，比賽（Game），對局（Round），發(fā)牌者（Dealer），裁判（Judger）。游戲環(huán)境實(shí)現(xiàn)都通過這些概念對應(yīng)的類，這樣的相同的設(shè)計規(guī)范讓游戲邏輯更容易理解、更容易操作。別的牌類游戲也基本都可以符合這個結(jié)構(gòu)，未來如果想要增加很容易。

作為對比，現(xiàn)有的強(qiáng)化學(xué)習(xí)庫多數(shù)都是單智能體環(huán)境的（比如 OpenAI Gym）；近期雖然也有一些支持多智能體的環(huán)境（比如星際2），但它們并不支持牌類游戲。RLCard 專為牌類游戲設(shè)計，不僅是一些牌類游戲在強(qiáng)化學(xué)習(xí)庫中的首次實(shí)現(xiàn)，也提供了簡單直觀的接口，便于強(qiáng)化學(xué)習(xí)研究。

在目前的學(xué)術(shù)文獻(xiàn)中，解決撲克游戲的最熱門的方法是反事實(shí)后悔最小化（Counterfactual Regret Minimization，CFR），以及它的各種變體，勝過了人類職業(yè)選手的冷撲大師（Libratus）使用的就是基于 CFR 的方法。不過，CFR 很消耗計算資源，因?yàn)樗枰耆闅v整個游戲樹，所以它也不適用于斗地主之類的狀態(tài)空間很大的游戲。

近期也有研究表明，強(qiáng)化學(xué)習(xí)策略可以在打賭類的博弈中取得很好的表現(xiàn)，比如玩斗地主就玩得不錯。這些美妙的成果，以及強(qiáng)化學(xué)習(xí)本身的靈活性都讓我們有可能探索狀態(tài)空間、行動空間更大的更困難的牌類游戲。

RLCard 使用方法

RLCard 使用簡單，輸入 pip install rlcard 可快速安裝。安裝完成后，用以下 5 行代碼就能用隨機(jī)的智能體產(chǎn)生對局?jǐn)?shù)據(jù)，返回的數(shù)據(jù)可直接用于強(qiáng)化學(xué)習(xí)算法訓(xùn)練。

另外，RLCard還提供了豐富的的運(yùn)行實(shí)例，包括產(chǎn)生隨機(jī)數(shù)據(jù)，訓(xùn)練CFR、DQN、NFSP等算法，以及多進(jìn)程運(yùn)行實(shí)例。

RLCard 提供人機(jī)對戰(zhàn) demo。RLCard 提供 Leduc Hold'em 游戲環(huán)境的一個預(yù)訓(xùn)練模型，可以直接測試人機(jī)對戰(zhàn)。Leduc Hold'em 是一個簡化版的德州撲克，游戲使用 6 張牌（紅桃 J、Q、K，黑桃 J、Q、K），牌型大小比較中 對牌>單牌，K>Q>J，目標(biāo)是贏得更多的籌碼。與預(yù)訓(xùn)練模型對局展示如下：

RLCard 評估

除此之外，開發(fā)團(tuán)隊還對 RLCard 做了系統(tǒng)的評估。他們測試了最流行的強(qiáng)化學(xué)習(xí)算法在環(huán)境上的表現(xiàn)。測試方法包括與隨機(jī)策略的比較以及 AI 間互相對戰(zhàn)的比較。發(fā)現(xiàn)主流算法在小型游戲上普遍有較好的效果，但是在較復(fù)雜游戲（例如斗地主、UNO）效果一般。如何在復(fù)雜的游戲中更好地訓(xùn)練強(qiáng)化學(xué)習(xí)算法需要更多的研究。

團(tuán)隊也對游戲運(yùn)行的效率進(jìn)行了評估。在 24 核 2.10GHz CPU 服務(wù)器上對各個游戲的運(yùn)行時間進(jìn)行了測試，使用多進(jìn)程可以更高效地產(chǎn)生游戲數(shù)據(jù)。

目前 RLCard 的官網(wǎng)已經(jīng)上線，其中提供了詳細(xì)的文檔。學(xué)術(shù)論文也已經(jīng)發(fā)表在 arXiv，第一作者為查道琛。詳細(xì)信息可以訪問下面的鏈接：

• Github：

• 官方網(wǎng)站：

• 論文：

未來，作者們還會繼續(xù)優(yōu)化和增強(qiáng)這個平臺，他們的計劃包括增加基于規(guī)則的智能體、增加更多預(yù)訓(xùn)練模型（幫助評價模型），增加更多游戲環(huán)境和算法，以及增加可視化和分析功能等。相信這個環(huán)境能對領(lǐng)域內(nèi)的研究人員們起到很大幫助。

感謝查道琛、胡俠對文本提供的幫助。雷鋒網(wǎng) AI 科技評論報道。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的设计一款博弈类游戏的人机对战算法、策略_卡牌游戏八合一，华人团队开源强化学习研究平台RLCard...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。