AI綜述專欄

在科學(xué)研究中，從方法論上來講，都應(yīng)先見森林，再見樹木。當(dāng)前，人工智能科技迅猛發(fā)展，萬木爭榮，更應(yīng)系統(tǒng)梳理脈絡(luò)。為此，我們特別精選國內(nèi)外優(yōu)秀的綜述論文，開辟“綜述”專欄，敬請(qǐng)關(guān)注。

導(dǎo)讀

近年來，神經(jīng)科學(xué)和AI相關(guān)領(lǐng)域取得快速發(fā)展。在計(jì)算機(jī)時(shí)代早期，AI的研究與神經(jīng)科學(xué)和心理學(xué)的研究有著千絲萬縷的關(guān)系，很多早期的研究人員都是橫跨兩個(gè)領(lǐng)域，并且取得了大量成果?？山陙?#xff0c;隨著兩個(gè)領(lǐng)域的研究越來越深入，學(xué)科的邊界越來越明顯，它們之間的交流漸漸減少。本文認(rèn)為，神經(jīng)科學(xué)的研究對(duì)于加速和啟發(fā)AI的發(fā)展具有越來越關(guān)鍵的作用。

作者簡介

戴密斯·哈比斯，世界著名的游戲開發(fā)者、神經(jīng)科學(xué)家、人工智能科學(xué)家和企業(yè)家，AlphaGo的開發(fā)者，世界頂級(jí)人工智能研究機(jī)構(gòu)——DeepMind公司創(chuàng)始人兼CEO。被授予倫敦帝國理工學(xué)院榮譽(yù)學(xué)位，英國皇家工程學(xué)院院士，英國皇家學(xué)會(huì)會(huì)員。從4歲開始下象棋，8歲編寫計(jì)算機(jī)游戲，20歲獲得劍橋大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。畢業(yè)后創(chuàng)立了Elixir工作室，成為一名獨(dú)立游戲開發(fā)者。2005年，回到校園學(xué)習(xí)認(rèn)知神經(jīng)科學(xué)，獲得倫敦大學(xué)學(xué)院博士學(xué)位。博士期間以海馬為研究對(duì)象，提出了關(guān)于情節(jié)記憶系統(tǒng)的新理論，該工作被《科學(xué)》雜志評(píng)為年度十大科學(xué)突破之一。2011年，中斷博士后研究，創(chuàng)辦了DeepMind公司，以“解決智能”為公司的終極目標(biāo)。

劉博，中科院自動(dòng)化所直博一年級(jí)在讀，研究興趣為深度神經(jīng)網(wǎng)絡(luò)的可解釋性、生物視覺啟發(fā)的視覺算法。

目 錄

1 引言

2 過去

2.1 深度學(xué)習(xí)

2.2 強(qiáng)化學(xué)習(xí)

3 現(xiàn)在

3.1 注意機(jī)制

3.2 情景記憶

3.3 工作記憶

3.4 持續(xù)學(xué)習(xí)

4 未來

4.1 對(duì)物質(zhì)世界的直觀理解

4.2 高效學(xué)習(xí)

4.3 遷移學(xué)習(xí)

4.4 想象與規(guī)劃

4.5 虛擬大腦分析

5 結(jié)束語

6 參考文獻(xiàn)

7 推薦文獻(xiàn)

1 引言

神經(jīng)科學(xué)對(duì)于AI研究的促進(jìn)主要體現(xiàn)在兩個(gè)方面：首先，作為數(shù)學(xué)和邏輯方法的補(bǔ)充，神經(jīng)科學(xué)為人工智能領(lǐng)域的新算法、新結(jié)構(gòu)提供了豐富的靈感。其次，神經(jīng)科學(xué)可以對(duì)現(xiàn)有AI算法的智能性進(jìn)行驗(yàn)證。即雖然一個(gè)算法在數(shù)據(jù)集上沒有取得很好的效果，但算法的機(jī)理符合神經(jīng)計(jì)算的機(jī)理，則說明該算法值得繼續(xù)探索。當(dāng)然，從工程角度來看，讓模型完全地符合神經(jīng)機(jī)理不是必須的。神經(jīng)科學(xué)只是作為一種啟發(fā)，而不是強(qiáng)制性的。

值得注意的是，本文所指的神經(jīng)科學(xué)是指包括系統(tǒng)神經(jīng)科學(xué)、認(rèn)知神經(jīng)科學(xué)和心理學(xué)在內(nèi)的廣義的神經(jīng)科學(xué)。人工智能是指包括機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等致力于建立智能系統(tǒng)的所有研究內(nèi)容。本文所指的啟發(fā)，是指在計(jì)算與算法、結(jié)構(gòu)以及功能層次的啟發(fā)。這與馬爾視覺計(jì)算理論的三個(gè)層次中的前兩個(gè)層次大致對(duì)應(yīng)。即系統(tǒng)的目標(biāo)（計(jì)算層次）和實(shí)現(xiàn)目標(biāo)的方法（算法層次）。至于大腦皮層神經(jīng)元是如何實(shí)現(xiàn)這些計(jì)算過程的（算法實(shí)現(xiàn)層次），這里不涉及。

下面本文將在過去、現(xiàn)在和未來三個(gè)階段介紹神經(jīng)科學(xué)對(duì)AI的啟發(fā)作用。

2 過去

2.1 深度學(xué)習(xí)

眾所周知，近年來的AI發(fā)展主要依靠的是深度學(xué)習(xí)【1】，而深度學(xué)習(xí)與神經(jīng)科學(xué)有著直接而緊密的聯(lián)系。神經(jīng)科學(xué)家最先提出了神經(jīng)網(wǎng)絡(luò)【2】的基本模型，而現(xiàn)在最主流的卷積神經(jīng)網(wǎng)絡(luò)【3 4】仍然包含了神經(jīng)網(wǎng)絡(luò)最本質(zhì)的特點(diǎn)，如層級(jí)結(jié)構(gòu)、非線性激活、最大值池化等，這些特點(diǎn)直接來源于神經(jīng)科學(xué)中對(duì)哺乳動(dòng)物視覺皮層的單細(xì)胞記錄實(shí)驗(yàn)結(jié)論。另外，神經(jīng)網(wǎng)絡(luò)中的正則化也來源于神經(jīng)科學(xué)。如Dropout算法【5】，受啟發(fā)于神經(jīng)元發(fā)放的隨機(jī)性，即神經(jīng)元的響應(yīng)近似服從泊松分布?？偠灾?#xff0c;在過去的研究中，神經(jīng)科學(xué)為創(chuàng)造新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和算法提供了原始的指引。

2.2 強(qiáng)化學(xué)習(xí)

除了深度學(xué)習(xí)，AI領(lǐng)域的另一個(gè)支柱是強(qiáng)化學(xué)習(xí)【6】。強(qiáng)化學(xué)習(xí)的目的是基于現(xiàn)有的環(huán)境狀態(tài)，依據(jù)特定策略選擇一個(gè)動(dòng)作以獲得更好的回報(bào)。強(qiáng)化學(xué)習(xí)的靈感直接來源于神經(jīng)科學(xué)對(duì)動(dòng)物學(xué)習(xí)行為的研究。特別的，強(qiáng)化學(xué)習(xí)中最關(guān)鍵的時(shí)間差分算法（Temporal-difference）受啟發(fā)于對(duì)動(dòng)物在特定條件下的行為研究。從機(jī)器人控制到阿法狗，時(shí)間差分算法為現(xiàn)有AI研究提供了關(guān)鍵技術(shù)。

3 現(xiàn)在

3.1 注意機(jī)制

當(dāng)我們學(xué)習(xí)一個(gè)任務(wù)時(shí)，大腦中的神經(jīng)網(wǎng)絡(luò)并不是進(jìn)行的全局優(yōu)化。大腦是模塊化的，不同的功能對(duì)應(yīng)不同的腦區(qū)，當(dāng)執(zhí)行某一特定任務(wù)時(shí)只有對(duì)應(yīng)的部分神經(jīng)網(wǎng)絡(luò)會(huì)激活。最近卷積神經(jīng)網(wǎng)絡(luò)中的注意機(jī)制也暗含著這種機(jī)理。直到最近，大部分的卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入的整幅圖像的每個(gè)像素都賦予同樣的關(guān)注。但在人腦視覺系統(tǒng)中，視覺注意機(jī)制【7】會(huì)對(duì)輸入圖像中不同部分賦予不同關(guān)注，將注意在整幅圖像中策略性移動(dòng)。比如我們觀察圖像時(shí)會(huì)自覺地將注意移到圖像的前景上而忽視背景，然后集中視覺處理資源對(duì)前景進(jìn)行處理以快速完成物體識(shí)別。通過借鑒人類視覺注意機(jī)制，現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型通過快速的掃描圖像，逐步將注意轉(zhuǎn)移到圖像中下一個(gè)位置【8】。這種卷積神經(jīng)模型能夠使用選擇性注意機(jī)制對(duì)目標(biāo)物體賦予更多關(guān)注而忽略場(chǎng)景中不相關(guān)的背景，能夠準(zhǔn)確地完成復(fù)雜場(chǎng)景、具有遮擋情況下的物體識(shí)別任務(wù)【9】，在準(zhǔn)確率和計(jì)算效率方面超過了對(duì)整幅圖像賦予同等關(guān)注的普通卷積神經(jīng)網(wǎng)絡(luò)模型。

3.2 情景記憶

神經(jīng)科學(xué)表明智能行為依賴于多種記憶系統(tǒng)。記憶一方面是基于強(qiáng)化學(xué)習(xí)的機(jī)理，即對(duì)經(jīng)歷的大量動(dòng)作及其反饋值進(jìn)行學(xué)習(xí)總結(jié)。另一方面是基于個(gè)例學(xué)習(xí)的機(jī)理，即對(duì)經(jīng)歷的個(gè)例進(jìn)行快速編碼和存儲(chǔ)，這種記憶，也稱為情景記憶，它的形成主要與海馬區(qū)有關(guān)。最近深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合——深度強(qiáng)化學(xué)習(xí)取【10 11】得了很大的突破，比如眾所周知的阿法狗的核心技術(shù)就是深度強(qiáng)化學(xué)習(xí)。深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合存在兩個(gè)主要問題：第一是深度學(xué)習(xí)需要大量獨(dú)立的樣本，而強(qiáng)化學(xué)習(xí)中的樣本都是高度相關(guān)的狀態(tài)序列；第二是深度學(xué)習(xí)需要樣本滿足潛在分布，而強(qiáng)化學(xué)習(xí)中樣本的分布隨著學(xué)習(xí)過程而變化。為了解決訓(xùn)練樣本高度相關(guān)以及樣本分布不穩(wěn)定的問題，研究人員提出了經(jīng)驗(yàn)回放機(jī)制（experience replay），即對(duì)經(jīng)歷過的所有個(gè)例樣本進(jìn)行間隔采樣獲得訓(xùn)練數(shù)據(jù)。這種經(jīng)驗(yàn)回放機(jī)制直接來源于對(duì)哺乳類動(dòng)物大腦中多種記憶系統(tǒng)相互作用的研究。在哺乳類動(dòng)物大腦中，首先海馬區(qū)會(huì)對(duì)見到的個(gè)例信息進(jìn)行編碼，當(dāng)進(jìn)入休眠態(tài)時(shí)，這些編碼會(huì)被整合到新皮質(zhì)中，這個(gè)整合過程就是一種經(jīng)驗(yàn)回放的過程。最近的研究表明【12】，當(dāng)回放更多高回報(bào)的個(gè)例樣本時(shí)，DQN（Deep Q-learning）中的經(jīng)驗(yàn)回放機(jī)制能取得更好的效果。這與海馬區(qū)更喜歡回放更多具有高回報(bào)的個(gè)例的現(xiàn)象是一致的。

3.3 工作記憶

人類智能與工作記憶緊密相關(guān)。所謂工作記憶就是在對(duì)信息進(jìn)行臨時(shí)保存的同時(shí)對(duì)信息進(jìn)行操作。經(jīng)典的認(rèn)知理論認(rèn)為工作記憶是通過一個(gè)中心控制器和多個(gè)獨(dú)立的、與特定任務(wù)相關(guān)的記憶緩存器來完成的【13】。AI研究人員基于這一機(jī)理提出了能夠在較長時(shí)間內(nèi)保存歷史狀態(tài)信息的模型，其中循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）【14】就是一個(gè)典型。在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，研究人員進(jìn)一步提出了長短時(shí)記憶網(wǎng)絡(luò)（LSTM）【15】，在序列建模領(lǐng)域取得很好的性能。值得注意的是，LSTM網(wǎng)絡(luò)和工作記憶模型并不完全相同。在普通的LSTM網(wǎng)絡(luò)中，序列的控制和記憶的存儲(chǔ)是混在一起的。但在工作記憶模型中，序列控制和記憶存儲(chǔ)是分開實(shí)現(xiàn)的，所以這就導(dǎo)致了更復(fù)雜的微分神經(jīng)計(jì)算機(jī)（DNC）模型【16 17】的產(chǎn)生。在微分神經(jīng)計(jì)算機(jī)中，序列控制和記憶存儲(chǔ)分別使用了不同的模塊。它包括了一個(gè)神經(jīng)網(wǎng)絡(luò)控制器模塊，神經(jīng)網(wǎng)絡(luò)控制器能從外部存儲(chǔ)模塊中讀寫矩陣，并且可以進(jìn)行端對(duì)端的訓(xùn)練，能夠完成一系列更復(fù)雜的記憶和推理任務(wù)。

3.4 持續(xù)學(xué)習(xí)

一個(gè)智能體必須具備持續(xù)學(xué)習(xí)的能力。所謂持續(xù)學(xué)習(xí)，是指當(dāng)學(xué)習(xí)新的任務(wù)時(shí)不能忘記之前已學(xué)習(xí)到的任務(wù)。很顯然，大部分的神經(jīng)網(wǎng)絡(luò)并不具備這種能力，因?yàn)楫?dāng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，之前學(xué)習(xí)得到的參數(shù)都會(huì)被不斷更新。利用先進(jìn)的神經(jīng)影像技術(shù)，神經(jīng)科學(xué)家發(fā)現(xiàn)人類之所以在學(xué)習(xí)新任務(wù)的同時(shí)能夠防止之前學(xué)習(xí)到的任務(wù)不被破壞，一個(gè)主要原因是已經(jīng)學(xué)習(xí)好的那部分神經(jīng)網(wǎng)絡(luò)的突觸可塑性降低。基于這個(gè)機(jī)理，研究人員提出了能夠進(jìn)行持續(xù)學(xué)習(xí)的彈性權(quán)重鞏固（elastic weight consolidation，EWC）算法【18】。算法的核心思想是，在學(xué)習(xí)新任務(wù)時(shí)，算法會(huì)降低那部分對(duì)某個(gè)學(xué)習(xí)任務(wù)十分重要的子網(wǎng)絡(luò)的學(xué)習(xí)速度，因此保留了網(wǎng)絡(luò)對(duì)之前任務(wù)的處理能力。

4 未來

4.1 對(duì)物質(zhì)世界的直觀理解

與人相比，機(jī)器缺少與物質(zhì)世界中核心概念有關(guān)的常識(shí)。比如空間、物體。這些常識(shí)構(gòu)成了人類對(duì)物體間基本關(guān)系的認(rèn)識(shí)，從而有利于人類的推理和預(yù)測(cè)。因此構(gòu)建一種能夠?qū)?chǎng)景分解為物體和物體間關(guān)系進(jìn)而解釋和推理物理場(chǎng)景的神經(jīng)網(wǎng)絡(luò)十分重要【19】?，F(xiàn)在已經(jīng)有工作在進(jìn)行這方面研究【20 21 22】，它們通過將場(chǎng)景分解為物體和物體關(guān)系從而建立了一種能夠解釋和推理的神經(jīng)網(wǎng)絡(luò)模型，在一些推理任務(wù)上取得了人類水平的表現(xiàn)。另外，深度生成模型也是一個(gè)值得探索的方向，它在利用原始感知數(shù)據(jù)構(gòu)建豐富的物體模型方面有重要的作用【23】。

4.2 高效學(xué)習(xí)

利用先驗(yàn)知識(shí)從少量樣本中快速學(xué)習(xí)新的概念是人類獨(dú)特的能力。為了研究機(jī)器的這種高效學(xué)習(xí)能力，Lake等人設(shè)計(jì)了一個(gè)字符識(shí)別的任務(wù)【24】。在任務(wù)中，機(jī)器在學(xué)習(xí)了單個(gè)示例后，必須將一個(gè)新的不熟悉的字符從其他類似的字符中區(qū)分出來。顯然，目前的機(jī)器在還沒有具備這種理解能力。值得慶幸的是，最近對(duì)結(jié)構(gòu)化的概率模型【25】和深度生成模型【26】的研究將有助于機(jī)器獲得這種能力，這兩種模型能從少量樣本中學(xué)習(xí)到新的概念，從單個(gè)示例學(xué)習(xí)中生成數(shù)據(jù)分布。同樣，這種基于小樣本的學(xué)習(xí)算法可以在神經(jīng)科學(xué)關(guān)于動(dòng)物學(xué)習(xí)的研究以及發(fā)展心理學(xué)研究中找到靈感【27】。

4.3 遷移學(xué)習(xí)

人類能夠?qū)W(xué)到的知識(shí)推廣到其他之前沒有接觸過的概念上，比如一個(gè)使用過Windows系統(tǒng)的人很容易就學(xué)會(huì)使用其他操作系統(tǒng)。目前的研究正在讓機(jī)器也獲得這種遷移學(xué)習(xí)的能力。比如基于成分表征【23】的方法，它能夠讓識(shí)別出在訓(xùn)練數(shù)據(jù)分布以外的新樣本。還有漸進(jìn)網(wǎng)絡(luò)，它能夠被成功地用于將模擬機(jī)器人環(huán)境的知識(shí)轉(zhuǎn)移到真正的機(jī)器人手臂上，大大減少了在現(xiàn)實(shí)世界所需的訓(xùn)練時(shí)間【28】。神經(jīng)科學(xué)的觀點(diǎn)認(rèn)為，遷移學(xué)習(xí)的一個(gè)標(biāo)志是具備進(jìn)行關(guān)系推理的能力,研究人員也在開始建立解決這類問題的深度神經(jīng)網(wǎng)絡(luò)【29】。但由于人類進(jìn)行遷移學(xué)習(xí)的神經(jīng)機(jī)理仍然不是很清楚，所以這方面的研究還有待更多的工作投入。

4.4 想象與規(guī)劃

盡管基于最大化期望價(jià)值的深度強(qiáng)化學(xué)習(xí)已經(jīng)取得很好的性能，但這種與模型無關(guān)（model-free）的強(qiáng)化學(xué)習(xí)仍存在兩個(gè)問題：首先它需要大量的經(jīng)驗(yàn)才能對(duì)價(jià)值進(jìn)行準(zhǔn)確地估計(jì)；其次它的策略對(duì)價(jià)值的變化太敏感，不夠靈活。相反，人類可以使用基于模擬的規(guī)劃（simulation-based planning）來靈活地選擇策略以最大化未來長期價(jià)值。這種基于模擬的規(guī)劃使用經(jīng)驗(yàn)對(duì)環(huán)境建立內(nèi)部模型【30】，并以此生成規(guī)劃。當(dāng)然，研究人員也借鑒這種機(jī)理建立了基于模型（model-based）以及基于模擬的的強(qiáng)化學(xué)習(xí)方法，如蒙特卡洛樹搜索（MCTS）【31】。但是，目前的規(guī)劃算法還沒有捕捉到人類規(guī)劃能力中核心的特點(diǎn)。要解決這個(gè)問題，我們需要充分地理解動(dòng)物怎樣從經(jīng)驗(yàn)中學(xué)習(xí)并建立針對(duì)環(huán)境的內(nèi)部模型。神經(jīng)科學(xué)家對(duì)動(dòng)物怎樣基于現(xiàn)有狀態(tài)想象未來可能的情景以及如何進(jìn)行基于模擬的規(guī)劃進(jìn)行了研究。比如，當(dāng)處于選擇猶豫時(shí)，大鼠海馬區(qū)的神經(jīng)活動(dòng)與進(jìn)行路徑導(dǎo)航時(shí)的神經(jīng)活動(dòng)相似，好像它正在想象各種可能的方案。這表明動(dòng)物通過實(shí)例化一個(gè)環(huán)境內(nèi)部模型，即想象可能的場(chǎng)景，然后對(duì)這個(gè)場(chǎng)景進(jìn)行評(píng)價(jià)，從而獲得完成規(guī)劃任務(wù)【32】。目前，基于模擬的規(guī)劃取得的初步成果有基于深度生成模型【22 26 33】的方法。它能夠生成時(shí)間一致的序列樣本，這些樣本能夠反映最近經(jīng)歷過的現(xiàn)實(shí)環(huán)境的幾何布局。這一算法思想與神經(jīng)科學(xué)的結(jié)論也是一致的。

4.5 虛擬大腦分析

目前，雖然深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)取得了突破式的性能，但對(duì)我們來說它們還相當(dāng)于一個(gè)黑盒子，我們無法解釋它們的內(nèi)部表達(dá)和計(jì)算機(jī)理。通過借鑒神經(jīng)科學(xué)中的探測(cè)技術(shù)，比如單細(xì)胞記錄、神經(jīng)影像、切除技術(shù)等，有助于我們分析神經(jīng)網(wǎng)絡(luò)，更好的解釋模型。最近這方面的研究取得了一些進(jìn)展。首先，神經(jīng)科學(xué)中通過降維來可視化大腦內(nèi)部狀態(tài)的方法被用來分析神經(jīng)網(wǎng)絡(luò)【34】。其次，感受野映射的方法被用來分析神經(jīng)網(wǎng)絡(luò)中單個(gè)神經(jīng)元的響應(yīng)特性，其中一個(gè)典型的應(yīng)用就是激活最大化，它通過最大化確定類別神經(jīng)元的響應(yīng)來合成圖像【35】。另外，受神經(jīng)科學(xué)啟發(fā)的線性化網(wǎng)絡(luò)分析方法可以揭示一些對(duì)網(wǎng)絡(luò)優(yōu)化有利的重要準(zhǔn)則，有助于理解網(wǎng)絡(luò)深度和表達(dá)結(jié)構(gòu)的作用【36】。雖然這些工作是有效的，但是理解結(jié)構(gòu)更復(fù)雜的網(wǎng)絡(luò)仍然十分困難，比如帶有外部存儲(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)。這些研究仍然需要進(jìn)一步借鑒神經(jīng)科學(xué)。

總結(jié)

以上是生活随笔為你收集整理的转载：AI综述专栏的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。