今天凌晨，OpenAI通過官方博客宣布了其在Dota對抗上的新進(jìn)展——由五個神經(jīng)網(wǎng)絡(luò)組成的團(tuán)戰(zhàn)AI團(tuán)隊，在5v5中擊敗了業(yè)余人類玩家，并表示，將有望挑戰(zhàn)頂級專業(yè)團(tuán)隊。

打Dota乍一聽可能沒什么了不起的，但這可以被視作AlphaGo的延續(xù)：構(gòu)建可以在看似簡單的游戲中擊敗人類的機(jī)器。

OpenAI干了這么一件事：組織了5個神經(jīng)網(wǎng)絡(luò)構(gòu)成團(tuán)隊，在5v5游戲中擊敗了Dota 2的人類業(yè)余選手。他們的目標(biāo)是在8月份擊敗國際頂級專業(yè)團(tuán)隊（僅限一組英雄的條件下）。

OpenAI也給了這個能力x5的AI一個簡單易懂的名字——OpenAI Five！

戳這里看5v5比賽視頻

OpenAI是Elon Musk聯(lián)合創(chuàng)立的非盈利AI研究機(jī)構(gòu)，旨在提高人們對AI技術(shù)現(xiàn)在所處的位置的認(rèn)識，以及促進(jìn)科技的安全進(jìn)步。這不是OpenAI首次公開試玩Dota 2，去年，OpenAI在Dota2 1v1比賽中戰(zhàn)勝了人類選手Dendi。

OpenAI Five的訓(xùn)練量級非常大，每天都會玩相當(dāng)于180年時長的游戲，通過自我對決來學(xué)習(xí)。它使用在256個GPU和128,000個CPU內(nèi)核上運(yùn)行的擴(kuò)展版近端策略優(yōu)化進(jìn)行訓(xùn)練，這是OpenAI去年發(fā)布的1v1 Dota AI的更大規(guī)模版本。對每個英雄使用單獨的LSTM并且不使用人類數(shù)據(jù)，由此學(xué)習(xí)可識別的策略。

從Deep Blue到AlphaGo，再到現(xiàn)在的Dota2，將人工智能與人類之間進(jìn)行較量，一直是計算機(jī)科學(xué)領(lǐng)域的有趣傳統(tǒng)。

與圍棋和國際象棋等回合制的游戲模式不同，Dota2更需要大量的實時決策以及隊友之間的默契合作。還記得AlphaGo與柯潔那場圍棋之戰(zhàn)么，人工智能在運(yùn)籌帷幄的時候總有幾分鐘的思考時間。但是如果你在Dota2中靜止深思，那么你可能會被對手gank。OpenAI表示，游戲的平均運(yùn)行時間為每秒30幀，也就是說，在平均45分鐘的游戲中會產(chǎn)生大約80000幀，而AI大約分析了其中的四分之一。

OpenAI技術(shù)細(xì)節(jié)

問題描述

在星際爭霸或者Dota這樣復(fù)雜的視頻游戲中超越人類的能力，是人工智能發(fā)展的里程碑。相對于之前的AI在國際象棋或圍棋上的里程碑式進(jìn)步，復(fù)雜的視頻游戲更能夠效仿現(xiàn)實世界的混亂和連續(xù)性。具有很高的通用性，在游戲之外也有可用之處。

Dota 2是一款實時戰(zhàn)略游戲，有兩支隊伍，每隊5個玩家，每個玩家控制一個稱為“英雄”的角色。玩Dota的AI必須掌握以下幾點：

1.長時間。Dota游戲以每秒30幀的速度運(yùn)行，平均時間為45分鐘，每場游戲產(chǎn)生80,000幀。大多數(shù)行為（例如命令英雄移動到某個位置）單獨產(chǎn)生較小的影響，但回城等一些個別行為可能會在戰(zhàn)略上影響游戲。一些策略可能貫穿游戲全程。OpenAI Five每四幀觀察一次，產(chǎn)生20,000次移動。國際象棋通常在40次移動之前結(jié)束，圍棋在150次移動之前結(jié)束，幾乎每一次移動都是戰(zhàn)略性的。

2.不完整信息。單位和建筑物只能看到他們周圍的區(qū)域。地圖的其他部分隱藏在霧中，隱藏了敵人和他們的戰(zhàn)略。AI需要根據(jù)不完整的數(shù)據(jù)進(jìn)行推斷，并且需要對對手行為建模。象棋和圍棋都是全信息游戲。

3.動作高度連續(xù)。在Dota中，每個英雄可以采取數(shù)十個動作，許多動作都是針對另一個單位或地面上的某個位置。OpenAI將每個英雄的空間分割成170,000個可能的行動（不是在每個幀都有效，比如冷卻動作）；不計算連續(xù)部分，每幀平均有大約1000次有效操作。國際象棋中的平均動作數(shù)為35，圍棋中是250。

4.高維度、連續(xù)的觀察空間。Dota包含十個英雄，數(shù)十個建筑物，幾十個NPC單位以及諸如符文、樹木等一大堆游戲特征，和大型連續(xù)的地圖。AI通過Bot API觀察游戲，被允許觀察2萬個數(shù)值（人類所被允許觀察的所有值）。國際象棋棋盤有大約70個枚舉值（一個8x8的棋盤，6種棋子類型和少量歷史信息），一個圍棋棋盤有約400個枚舉值（一個19x19的棋盤，兩種棋子類型加上“劫”）。

此外，Dota規(guī)則也非常復(fù)雜。游戲開發(fā)已經(jīng)持續(xù)了十多年，游戲邏輯在數(shù)十萬行代碼中實現(xiàn)。這個邏輯需要幾毫秒的時間才能執(zhí)行，而國際象棋或圍棋引擎則需要幾納秒。游戲也每兩周更新一次，不斷改變環(huán)境語義。

方法

OpenAI系統(tǒng)使用大規(guī)模版本的Proximal Policy Optimization進(jìn)行學(xué)習(xí)。 OpenAI Five和我們早期的1v1機(jī)器人都完全從自我對抗中學(xué)習(xí)。他們從隨機(jī)參數(shù)開始，不使用來自人類玩家的回放視頻進(jìn)行搜索或引導(dǎo)。

強(qiáng)化學(xué)習(xí)研究者通常認(rèn)為，對于長時空上的建模，需要全新的算法，比如分層強(qiáng)化學(xué)習(xí)。但是OpenAI的結(jié)果表明，只要采取合理的方式，目前的算法在大規(guī)模資源上運(yùn)行的結(jié)果還不錯。

AI經(jīng)過訓(xùn)練可以通過指數(shù)衰減因子γ進(jìn)行加權(quán)，從而最大化指數(shù)衰減的未來獎勵總和。在最新的OpenAI Five訓(xùn)練中，衰減因子γ從0.998（評估未來獎勵的半衰期為46秒）增大到0.9997（評估未來獎勵的半衰期為五分鐘）。對比而言，PPO這篇論文上最長的推理時間是0.5秒，Rainbow論文上最長的推理時間是4.4秒，Observe and Look Further這篇論文使用的半衰期為46秒。

PPO論文：

https://arxiv.org/abs/1707.06347

Rainbow論文：

https://arxiv.org/abs/1710.02298

Observe and Look Further論文：

https://arxiv.org/abs/1805.11593

盡管當(dāng)前版本的OpenAI Five在最后一擊時表現(xiàn)不佳，但是專業(yè)Dota評論員Blitz認(rèn)為OpenAIFive的表現(xiàn)可以比得上一般的人類玩家。

原因是，OpenFive在游戲中對收益的取舍和頂尖的戰(zhàn)略決策類似。例如，短期內(nèi)“補(bǔ)兵”可以獲得金錢，而準(zhǔn)備團(tuán)戰(zhàn)推塔可能花費(fèi)更多的時間。如果選擇團(tuán)戰(zhàn)，就會喪失小兵收益，然而在勝利以摧毀防御塔為前提的游戲中，放棄團(tuán)戰(zhàn)可能不是明智的選擇。所以，AI是朝著長期目標(biāo)進(jìn)行優(yōu)化的。

OpenAI仍需要一些限制條件，比如，和AI比賽的人類對手必須遵守某些規(guī)則，包括不使用某些物品和策略。

OpenAI將在下個月舉辦一場Dota 2巡回賽，展示自己在與頂級玩家競爭時的實力。

當(dāng)然，也沒必要過度擔(dān)心，因為這個AI雖然可以打Dota，但也只能做這一件事。

原文發(fā)布時間為：2018-06-26

本文作者：文摘菌

本文來自云棲社區(qū)合作伙伴“大數(shù)據(jù)文摘”，了解相關(guān)信息可以關(guān)注“大數(shù)據(jù)文摘”。

總結(jié)

以上是生活随笔為你收集整理的OpenAI Dota2 5v5模式击败人类，AI每天训练量抵人类180年的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。