2019年，深度強(qiáng)化學(xué)習(xí)可以算得上 AI 研究的 Top 關(guān)鍵詞之一。

無(wú)論是 DeepMind 星際2 AI「AlphaStar」血虐人類玩家，還是 OpenAI 最終因太過(guò)強(qiáng)大而被認(rèn)為可能有風(fēng)險(xiǎn)所以不公開發(fā)布的語(yǔ)言模型GPT-2，無(wú)疑都在過(guò)去一年中最轟動(dòng)的 AI 大事件之列，也吸引了 AI 社區(qū)的越來(lái)越多的研究者投身深度強(qiáng)化學(xué)習(xí)研究之列。

然而，也有很多反對(duì)的聲音認(rèn)為深度強(qiáng)化學(xué)習(xí)現(xiàn)在的一系列成果，其實(shí)更像是一種虛假的「繁榮」。

本文作者朱仲光便是其中的一位。他指出，深度強(qiáng)化學(xué)習(xí)會(huì)給研究者們尤其是各位不明真相的大眾帶來(lái)「離通用人工智能越來(lái)越近」的錯(cuò)覺(jué)，而更為嚴(yán)重的是，深度強(qiáng)化學(xué)習(xí)會(huì)耗費(fèi)掉研究者們本可以用來(lái)研究其他更重要的問(wèn)題和更有前景的方向的時(shí)間和精力。

他的具體觀點(diǎn)，我們下面來(lái)看：

一、2019年都過(guò)去了，并沒(méi)有離現(xiàn)實(shí)世界更進(jìn)一步

隨著2019年的結(jié)束，我想回顧一下人工智能所取得的進(jìn)展。在這一年，AI 社區(qū)尤其將深度強(qiáng)化學(xué)習(xí)大肆宣揚(yáng)為下一個(gè)朝著通用人工智能（AGI）前進(jìn)的革命性的一步。

通用人工智能，顧名思義，就是指能夠像人類一樣以一種通用的方式學(xué)習(xí)萬(wàn)事萬(wàn)物的計(jì)算機(jī)算法。

近年來(lái)，研究者們針對(duì)深度強(qiáng)化學(xué)習(xí)開展了大量研究工作，現(xiàn)在也逐漸取得了一定進(jìn)展。

圍繞深度強(qiáng)化學(xué)習(xí)的想法和期望是，理論上，我們能輕而易舉地訓(xùn)練一個(gè)能做任何事情的智能體，比如開車、疊衣服、玩電子游戲、打掃房間、玩魔方等等，并且所有智能體的學(xué)習(xí)過(guò)程都不需要人工干涉。其中一些實(shí)驗(yàn)已經(jīng)取得一些成功，你可以教一個(gè)深度強(qiáng)化學(xué)習(xí)的智能體玩一些電子游戲和棋類游戲，但是一旦涉及現(xiàn)實(shí)世界，進(jìn)入生產(chǎn)系統(tǒng)，這些實(shí)驗(yàn)都會(huì)以失敗告終。

據(jù)我所知，2019年都過(guò)去了，仍然沒(méi)有出現(xiàn)任何能夠使用深度強(qiáng)化學(xué)習(xí)技術(shù)的生產(chǎn)系統(tǒng)。

二、到底解決哪些問(wèn)題，才有意義？

深度強(qiáng)化學(xué)習(xí)系統(tǒng)有許多問(wèn)題，我并不打算詳細(xì)討論這些問(wèn)題的細(xì)節(jié)，因?yàn)橛泻芏嗖┛臀恼乱呀?jīng)討論過(guò)這些問(wèn)題。

如果這些問(wèn)題中有一部分得到改善或解決，例如找到更抽象的方式來(lái)表征神經(jīng)網(wǎng)絡(luò)內(nèi)部的信息，我也不會(huì)太驚訝，但如果不能解決我所認(rèn)為的核心問(wèn)題，即有關(guān)手動(dòng)設(shè)置獎(jiǎng)勵(lì)的問(wèn)題，那所謂的「改善」或「解決」也就意義不大了。

在深度強(qiáng)化學(xué)習(xí)中，我認(rèn)為大部分時(shí)間都花在了設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)來(lái)讓智能體完成想讓它做的事情。用更傳統(tǒng)的機(jī)器學(xué)習(xí)術(shù)語(yǔ)來(lái)說(shuō)，獎(jiǎng)勵(lì)函數(shù)就是目標(biāo)函數(shù)，指的是算法利用獎(jiǎng)勵(lì)函數(shù)來(lái)了解系統(tǒng)是否朝著正確的方向運(yùn)行，模型得到的獎(jiǎng)勵(lì)越多，它就「越好」。

比如教一支機(jī)械臂疊衣服，假如說(shuō)你有一堆褲子，那么你如何編寫?yīng)剟?lì)函數(shù)來(lái)讓機(jī)械臂正確地疊這些褲子呢？當(dāng)向另外一個(gè)人解釋這一點(diǎn)時(shí)，聽(tīng)起來(lái)很簡(jiǎn)單，只是「把褲子疊成整齊的一堆」，但是計(jì)算機(jī)并不知道這些規(guī)則的含義。

對(duì)于每一個(gè)實(shí)驗(yàn)，你設(shè)計(jì)的獎(jiǎng)勵(lì)必須要讓計(jì)算機(jī)在完全不知道自己實(shí)際正在做什么的情況下，可以自己衡量自己的運(yùn)行過(guò)程。因此，你設(shè)計(jì)的獎(jiǎng)勵(lì)程序可以在機(jī)械臂碰到褲子時(shí)就開始給它獎(jiǎng)勵(lì)，之后再針對(duì)是否正確抓住了褲子以及移動(dòng)了褲子，來(lái)給它更多獎(jiǎng)勵(lì)得分。

那如何基于機(jī)械臂在實(shí)際折疊褲子中的表現(xiàn)給予獎(jiǎng)勵(lì)？疊三次可以得分嗎？沒(méi)有將褲子疊皺又得多少分？

最終，你花了太多時(shí)間試圖去引導(dǎo)智能體遵循正確的路徑，以至于它基本上處在完全的監(jiān)督之下。

理論上，你的確可以讓一個(gè)人監(jiān)督著整個(gè)訓(xùn)練過(guò)程，這個(gè)人可以為系統(tǒng)采取的每一個(gè)動(dòng)作指定一個(gè)分?jǐn)?shù)，但這種方式是不能泛化的。

這些深度強(qiáng)化學(xué)習(xí)系統(tǒng)需要基于數(shù)萬(wàn)到數(shù)百萬(wàn)次的迭代來(lái)試驗(yàn)動(dòng)作的每一個(gè)變化，以找出實(shí)現(xiàn)最終目標(biāo)的正確序列，個(gè)人很難監(jiān)控計(jì)算機(jī)采取的所有步驟。研究者也正在積極探索，試圖將這個(gè)范圍縮小至有限次數(shù)的學(xué)習(xí)，但對(duì)我來(lái)說(shuō)，這只是試圖改進(jìn)一些從根本上而言沒(méi)有意義的東西。

在你試圖訓(xùn)練機(jī)器人折疊褲子的過(guò)程中，你可能需要不斷調(diào)整獎(jiǎng)勵(lì)函數(shù)，因?yàn)樗赡軙?huì)意外地撕破褲子、弄掉一些零部件、不把褲子翻出來(lái)就直接折疊，或者以看起來(lái)毫無(wú)意義的奇怪方式折疊褲子。這樣的話，獎(jiǎng)勵(lì)的設(shè)計(jì)變成了一個(gè)試驗(yàn)性的過(guò)程，即通過(guò)反復(fù)的嘗試和試錯(cuò)來(lái)確定什么是有效的獎(jiǎng)勵(lì)。有無(wú)數(shù)的報(bào)告記錄了深度強(qiáng)化學(xué)習(xí)模型做出的各種意想不到的動(dòng)作。

強(qiáng)化學(xué)習(xí)通常被劃分為除監(jiān)督機(jī)器學(xué)習(xí)和無(wú)監(jiān)督機(jī)器學(xué)習(xí)以外的第三類，但在我看來(lái)，它其實(shí)就是監(jiān)督學(xué)習(xí)。

當(dāng)前的強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)步驟是這樣的：你開始訓(xùn)練模型，然后你看著它失敗然后「死掉」，接著你花費(fèi)大量的時(shí)間一次又一次調(diào)整獎(jiǎng)勵(lì)函數(shù)，直到你「有可能」得到一個(gè)理想的結(jié)果，但僅僅是「有可能」。

這個(gè)過(guò)程中有哪一步你沒(méi)有給系統(tǒng)提供訓(xùn)練數(shù)據(jù)？事實(shí)上你把整個(gè)過(guò)程復(fù)雜化了，你僅僅是把答案以間接的方式提供給智能體，而這恰恰讓一切變得更加困難。

如果計(jì)算機(jī)要從周圍的環(huán)境中學(xué)習(xí)，那必須在一個(gè)100% 無(wú)監(jiān)督的環(huán)境里進(jìn)行。

三、當(dāng)公關(guān)大于實(shí)質(zhì)進(jìn)步，會(huì)帶來(lái)哪些危害？

那么，為什么關(guān)于深度強(qiáng)化學(xué)習(xí)的炒作如此之多？

如果你站在一個(gè)抽象的角度來(lái)看待深度強(qiáng)化學(xué)習(xí)，你就會(huì)知道它被描述為一個(gè)隨著時(shí)間的推移從其環(huán)境中學(xué)習(xí)的智能體。

這似乎是絕對(duì)正確的，而且確實(shí)「很像」是真的，所有生物都是從出生開始學(xué)習(xí)如何從其環(huán)境中生存和行動(dòng)。

我們之所以知道這一點(diǎn)，是因?yàn)槲覀冏隽嗽S多實(shí)驗(yàn)，經(jīng)驗(yàn)告訴我們，如果我們改變和限制新生有機(jī)體的環(huán)境，它們會(huì)學(xué)到不同的東西，行為也會(huì)有所不同。

深度強(qiáng)化學(xué)習(xí)與諸如監(jiān)督分類的傳統(tǒng)機(jī)器學(xué)習(xí)方法有很大的不同，傳統(tǒng)的機(jī)器學(xué)習(xí)是一個(gè)靜態(tài)模型，它獲取原始數(shù)據(jù)和答案并最終建立一個(gè)模型用于生產(chǎn)。在傳統(tǒng)的深度強(qiáng)化學(xué)習(xí)框架中，系統(tǒng)犯錯(cuò)的部分就是信號(hào)的來(lái)源。這些人工智能體必須直接從它們自身和環(huán)境中學(xué)習(xí)，而不是從我們提供給它們的某種人工獎(jiǎng)勵(lì)函數(shù)中學(xué)習(xí)。

當(dāng) DeepMind 推出一個(gè)單一的不進(jìn)行任何人為干涉就可以學(xué)會(huì)玩 Atari 電子游戲的深度強(qiáng)化學(xué)習(xí)智能體時(shí)，人們認(rèn)為這種智能體可以泛化到其他領(lǐng)域的各種問(wèn)題，甚至是通用人工智能。

但我們所了解到的是，有機(jī)體和人類所做的大多數(shù)事情，都無(wú)法建模成通過(guò)讓智能體持續(xù)優(yōu)化從而盡可能獲得更多獎(jiǎng)勵(lì)的電子游戲。不要被「深度強(qiáng)化學(xué)習(xí)不需要人為干涉就能夠在游戲中獲勝」的新聞所愚弄！設(shè)計(jì)獎(jiǎng)勵(lì)這一操作仍然存在，并且在40年前，當(dāng)電子游戲制造商雇傭整支隊(duì)伍來(lái)制作這些游戲時(shí)，就已存在這種操作。

很多人都誤認(rèn)為深度強(qiáng)化學(xué)習(xí)是實(shí)現(xiàn)通用人工智能的下一個(gè)創(chuàng)舉，甚至谷歌也「過(guò)分熱情」地花了5億多美元收購(gòu) DeepMind，希望把人工智能提升到一個(gè)新的水平。與此同時(shí)，AI 社區(qū)似乎也把深度強(qiáng)化學(xué)習(xí)當(dāng)成了圣杯，因?yàn)樗窃谀撤N程度上與我們所處的世界最接近的機(jī)器學(xué)習(xí)形式，盡管實(shí)際上還相差甚遠(yuǎn)。

我們最終實(shí)現(xiàn)的不過(guò)是一些「小把戲」，這些智能體也不過(guò)是可以玩各種各樣的電子游戲、棋類游戲的小 AI 玩具。

從更傳統(tǒng)的機(jī)器學(xué)習(xí)方法向深度學(xué)習(xí)轉(zhuǎn)變的主要好處是，不再需要手動(dòng)的工程設(shè)計(jì)。理論上，你可以給模型提供一堆數(shù)據(jù)，運(yùn)行優(yōu)化算法，它不需要你手動(dòng)編寫特征提取代碼也能進(jìn)行學(xué)習(xí)。因此，深度學(xué)習(xí)已經(jīng)被應(yīng)用到部分強(qiáng)化學(xué)習(xí)中，主要體現(xiàn)在智能體以像素的形式接收感知數(shù)據(jù)的部分，但是仍然需要研究者花大部分時(shí)間來(lái)手動(dòng)設(shè)計(jì)程序。

這在我看來(lái)，深度學(xué)習(xí)并沒(méi)有發(fā)揮什么作用！我甚至沒(méi)有具體討論其他深度強(qiáng)化學(xué)習(xí)問(wèn)題，比如如果你需要稍微調(diào)整一下目標(biāo)，那么你就要準(zhǔn)備好重新訓(xùn)練整個(gè)系統(tǒng)，以及環(huán)境中的細(xì)微變化通常也會(huì)導(dǎo)致整個(gè)系統(tǒng)徹底失敗，等等。通往通用人工智能的路還很長(zhǎng)……

現(xiàn)在DeepMind 和 OpenAI 這樣頂尖的機(jī)器學(xué)習(xí)研究機(jī)構(gòu)，仍然在深度強(qiáng)化學(xué)習(xí)研究上投入主要的時(shí)間和資源。他們不斷地用發(fā)布公關(guān)新聞轟炸互聯(lián)網(wǎng)，展示他們正在取得的巨大進(jìn)步：深度強(qiáng)化學(xué)習(xí)系統(tǒng)可以下圍棋，玩 StarCraft、Dota 2，玩魔方等等。

我很困惑，為什么他們繼續(xù)花那么多時(shí)間來(lái)開發(fā)有明確的定義規(guī)則和得分的系統(tǒng)、能在游戲中獲勝的深度強(qiáng)化學(xué)習(xí)系統(tǒng)？

我相信現(xiàn)在每個(gè)人都明白，如果有足夠多的時(shí)間、金錢和計(jì)算機(jī)來(lái)機(jī)械地訓(xùn)練每一個(gè)可能的動(dòng)作，深度強(qiáng)化學(xué)習(xí)系統(tǒng)幾乎可以在任何游戲中獲勝。我認(rèn)為他們大部分的策略僅僅是用一些「小把戲」來(lái)不斷制造公關(guān)效應(yīng)，以展示最新的深度強(qiáng)化學(xué)習(xí)系統(tǒng)如何在下一個(gè)最佳游戲中大獲全勝，這樣他們就可以繼續(xù)從那些不太「懂行」的人那里獲得投資，比如微軟最近給OpenAI 的 投了10億美元，谷歌則繼續(xù)作為 DeepMind 的「存錢罐」給其投入資金。

DeepMind 最近，也就是在被谷歌收購(gòu)5年后的一個(gè)成功案例是，他們訓(xùn)練了一個(gè)深度強(qiáng)化學(xué)習(xí)的智能體來(lái)下圍棋、國(guó)際象棋、將棋和玩 Atari 游戲。是的，更多的電子游戲！！！

我的本意并不是抨擊他們，我真的很高興他們?nèi)匀辉跒閷?shí)現(xiàn)通用人工智能貢獻(xiàn)力量。但問(wèn)題是，他們制造了很多錯(cuò)誤的認(rèn)知，并最終導(dǎo)致大量的人力物力浪費(fèi)在「死胡同」上。

首先，他們發(fā)布的所有公關(guān)言論，比如「我們的文本生成模型（GPT-2）太危險(xiǎn)了，不能發(fā)布」，使得普通大眾認(rèn)為我們離通用人工智能更近了，然而 AI 行業(yè)中的每個(gè)人都明白并沒(méi)有更近。

其次也是更重要的是，他們錯(cuò)誤地引導(dǎo)著人工智能研究者們花更多的時(shí)間在深度強(qiáng)化學(xué)習(xí)上。許多研究人員和黑客從這些研究深度學(xué)習(xí)的公司那里看到了一波又一波為深度強(qiáng)化學(xué)習(xí)「叫好」的 PR 新聞，當(dāng)他們?cè)究梢詫⒕性诟蟆⒏镜膯?wèn)題上時(shí)，他們卻花費(fèi)了無(wú)數(shù)的時(shí)間去破解那些相同的問(wèn)題。

四、要實(shí)現(xiàn)通用人工智能，真正要做的是什么？

如果人工智能和通用人工智能要向前發(fā)展，我認(rèn)為是時(shí)候停止讓深度強(qiáng)化學(xué)習(xí)系統(tǒng)玩電子游戲，轉(zhuǎn)而集中精力解決更棘手的問(wèn)題了。

所幸 DeepMind 和 OpenAI 的確有花時(shí)間解決其他問(wèn)題，但正如我所說(shuō)，深度強(qiáng)化學(xué)習(xí)似乎仍然是他們的主要關(guān)注點(diǎn)。

目前的深度強(qiáng)化學(xué)習(xí)系統(tǒng)似乎可以很好地契合已經(jīng)有基礎(chǔ)訓(xùn)練的系統(tǒng)。遷移學(xué)習(xí)中的智能體已經(jīng)對(duì)其環(huán)境和自身有了基本的了解。我們不妨觀察一個(gè)人類嬰兒的學(xué)習(xí)歷程：從出生開始，她（他）首先開始學(xué)習(xí)觀察形狀和顏色，移動(dòng)手指，觸摸物體，控制自己的身體，辨別聲音，學(xué)習(xí)有關(guān)重力、物理、墜落、蠕動(dòng)、彈跳的知識(shí)，學(xué)習(xí)物體恒常性等。每一個(gè)人或有機(jī)體都會(huì)在不同程度上經(jīng)歷這些學(xué)習(xí)過(guò)程。

通常在嬰兒掌握了大量的知識(shí)之后，即當(dāng)她（他）可以走路、抓握物體、自己上廁所、進(jìn)行基本的交流等等之后，接下來(lái)就是更為正式的訓(xùn)練，比如家長(zhǎng)會(huì)送孩子去學(xué)校，孩子在學(xué)校中會(huì)經(jīng)歷一個(gè)結(jié)構(gòu)性更強(qiáng)的學(xué)習(xí)過(guò)程：學(xué)校通過(guò)家庭作業(yè)、評(píng)分以及測(cè)驗(yàn)訓(xùn)練孩子從課程中學(xué)習(xí)知識(shí)。

當(dāng)前的深度強(qiáng)化學(xué)習(xí)系統(tǒng)似乎原本可以很好地適用于這種形式化的訓(xùn)練，在這種訓(xùn)練中，當(dāng)智能體對(duì)環(huán)境有了基本的了解之后，系統(tǒng)可以清晰地、最大程度自動(dòng)化地給所期待達(dá)成的目標(biāo)指定分?jǐn)?shù)。比方說(shuō)如果孩子不能背誦 ABC 這三個(gè)字母，記為不及格，但如果他們能背誦整個(gè)字母表則記為及格。

當(dāng)前深度強(qiáng)化學(xué)習(xí)技術(shù)正在本末倒置，我們正試圖訓(xùn)練計(jì)算機(jī)從零開始完成一些復(fù)雜的任務(wù)，這種訓(xùn)練有時(shí)可能會(huì)有效，但由于這些模型是針對(duì)特定的任務(wù)而不是泛化能力而訓(xùn)練的，它們對(duì)自己的環(huán)境沒(méi)有泛化的了解，最終導(dǎo)致系統(tǒng)過(guò)于脆弱，效果也不是很好。

只要獎(jiǎng)勵(lì)函數(shù)的問(wèn)題沒(méi)有被解決，再多新的學(xué)習(xí)算法，如BP 算法、DQN、PPO、DDPG、TRPO 都無(wú)法真正解決深度強(qiáng)化學(xué)習(xí)的問(wèn)題。

我確信我們會(huì)有一些進(jìn)步，也許會(huì)在 Starcraft 中贏得更多的分?jǐn)?shù)，但是如果沒(méi)有一個(gè)根本性的架構(gòu)轉(zhuǎn)變，來(lái)實(shí)現(xiàn)智能體在無(wú)監(jiān)督的情況下從環(huán)境中進(jìn)行學(xué)習(xí)，那么這些所謂的進(jìn)步對(duì)于我們實(shí)現(xiàn)通用人工智能這一偉大夢(mèng)想，也就沒(méi)有太多的意義。

我自己的假設(shè)是，針對(duì)學(xué)習(xí)體的獎(jiǎng)勵(lì)函數(shù)實(shí)際上是由維持穩(wěn)態(tài)和將「意外」最小化的動(dòng)力所驅(qū)動(dòng)的。

穩(wěn)態(tài)是生物維持生存所需的穩(wěn)定條件的過(guò)程。任何有機(jī)體都要生存，都必須保持其身體與外界環(huán)境分離。生物饑餓的時(shí)候要進(jìn)食，疲倦的時(shí)候要睡覺(jué)，口渴的時(shí)候要喝水，受傷的時(shí)候要休息，被獵殺的時(shí)候要逃離，炎熱的時(shí)候要讓自己涼快一點(diǎn)等等。有機(jī)體在環(huán)境中行動(dòng)時(shí)，這些與生俱來(lái)的原始信號(hào)指導(dǎo)著它們?cè)撟鍪裁春驮撽P(guān)注什么。如果它們不能勝任這些事情，則會(huì)導(dǎo)致有機(jī)體內(nèi)失去平衡，最終導(dǎo)致過(guò)早死亡。

當(dāng)生物在四處游蕩時(shí)，它會(huì)建構(gòu)自己的感知運(yùn)動(dòng)交互作用模型以及與周圍世界交互作用的環(huán)境，該模型開始把各種事件匯聚到一起：天黑的時(shí)候應(yīng)該比較冷；當(dāng)我打嗝，我應(yīng)該聽(tīng)到打嗝的聲音；當(dāng)我向左移動(dòng)，我應(yīng)該看到視野在 X 軸上變化；當(dāng)一只動(dòng)物走在我前面，它應(yīng)該繼續(xù)向前移動(dòng)；當(dāng)我的手指在杯子上掃過(guò)，我應(yīng)該感受到光滑的表面；當(dāng)我通過(guò)聲帶發(fā)出聲音，我應(yīng)該能在我的耳朵里聽(tīng)到相應(yīng)的聲音等等。

如果有什么意外的事情發(fā)生，有什么東西偏離了它的模型，那么該模型會(huì)重新調(diào)整它的預(yù)期，直到得到它所預(yù)期的結(jié)果，這也可能會(huì)導(dǎo)致更多的移動(dòng)。如果最終不能得到預(yù)期的結(jié)果，那么真正的「意外」就會(huì)出現(xiàn)，這些神經(jīng)元就被標(biāo)記為「需要更新模型」，在這種情況下，重新學(xué)習(xí)和重新優(yōu)化可能會(huì)實(shí)時(shí)發(fā)生，也可能是在機(jī)體處于睡眠狀態(tài)時(shí)發(fā)生。

優(yōu)化過(guò)程會(huì)在智能體的內(nèi)部環(huán)境模型和實(shí)際環(huán)境之間進(jìn)行，并持續(xù)優(yōu)化以使意外最小化。神經(jīng)科學(xué)和哲學(xué)已經(jīng)在很長(zhǎng)一段時(shí)間里對(duì)這些思想展開過(guò)討論，比如 Andy Clark 提出的預(yù)測(cè)處理的思想以及 Karl Friston提出的自由能量原理（FreeEnergyPrinciple）。

據(jù)我所知，這些思想還沒(méi)有成功地應(yīng)用于機(jī)器學(xué)習(xí)環(huán)境中。我認(rèn)為這其中有很多技術(shù)問(wèn)題：如何在計(jì)算機(jī)中模擬穩(wěn)態(tài)狀態(tài)，如何存儲(chǔ)模型的內(nèi)部表征，智能體的感官和環(huán)境之間的低分辨率以及低保真環(huán)境等等。

我并非意在采用一個(gè)煽動(dòng)性的標(biāo)題來(lái)寫這篇文章，但我也無(wú)法以一種更恰當(dāng)?shù)姆绞絹?lái)向人們說(shuō)明「當(dāng)前的深度強(qiáng)化學(xué)習(xí)架構(gòu)從根本上而言就是錯(cuò)的」這一問(wèn)題。

總結(jié)

以上是生活随笔為你收集整理的深度强化学习 继续死磕电子游戏还是另辟蹊径？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。