【新智元導(dǎo)讀】近日，MIT計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的團(tuán)隊(duì)推出了「液態(tài)」神經(jīng)網(wǎng)絡(luò)，除在訓(xùn)練過程之外，還可以在實(shí)踐過程中學(xué)習(xí)，能隨著新的數(shù)據(jù)輸入而不斷更新模型方程，很好的適應(yīng)了現(xiàn)實(shí)生活的可變性。有趣的是，這個(gè)靈感是從對顯微鏡下線蟲的神經(jīng)元的觀察中得來的。

「液態(tài)」神經(jīng)網(wǎng)絡(luò)？

這是什么何方神圣？

我猜，這大概率是你第一次聽到這個(gè)詞匯，你一定會(huì)好奇，這種「聳人聽聞」的神經(jīng)網(wǎng)絡(luò)到底是怎么一回事。

近日，麻省理工學(xué)院的研究人員已經(jīng)開發(fā)出一種神經(jīng)網(wǎng)絡(luò)，除了在訓(xùn)練階段進(jìn)行學(xué)習(xí)之外，它還能在實(shí)踐過程中學(xué)習(xí)。

這些被稱為「液態(tài)」網(wǎng)絡(luò)的靈活算法，可以為適應(yīng)新的數(shù)據(jù)輸入而不斷改變自身的基本方程。

我們知道，有些數(shù)據(jù)流會(huì)隨著時(shí)間的推移而變化，比如涉及醫(yī)療診斷和自動(dòng)駕駛的數(shù)據(jù)流。而這一進(jìn)展，就正可以幫助基于這些數(shù)據(jù)流的決策過程。

因此，此類新型神經(jīng)網(wǎng)絡(luò)可以在自動(dòng)駕駛和醫(yī)療診斷中輔助決策。

該研究的主要作者拉明·哈薩尼（Ramin Hasani）表示:

「這是朝向未來機(jī)器人控制、自然語言處理、視頻處理等任何形式的時(shí)間序列數(shù)據(jù)處理前進(jìn)的一大步，有著非常巨大的潛力」

這項(xiàng)研究，將在2月份的AAAI人工智能會(huì)議上公布。

除了麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的博士后哈薩尼（Hasani），在MIT的共同作者還包括CSAIL主任丹妮拉·羅斯(Daniela Rus)、電氣工程和計(jì)算機(jī)科學(xué)的安德魯( Andrew )和埃爾納·維特比（ Erna Viterbi ）教授，以及博士生亞歷山大·阿米尼(Alexander Amini)。

其他共同作者還包括奧地利科學(xué)技術(shù)研究所的馬賽厄斯·萊希納（ Mathias Lechner）和維也納理工大學(xué)的拉杜·格魯（Radu Grosu）。

參數(shù)隨時(shí)間可變，顯微鏡線蟲成靈感來源

哈薩尼表示，時(shí)間序列數(shù)據(jù)無處不在，是幫助我們了解世界的重要參考。

「現(xiàn)實(shí)世界完全由序列組成。即使是我們的感知，也是如此：你不是在感知圖像，你是在感知一系列圖像」

「所以，實(shí)際上，時(shí)間序列數(shù)據(jù)創(chuàng)造了現(xiàn)實(shí)」

他指出，視頻處理、金融數(shù)據(jù)和醫(yī)療診斷應(yīng)用都是對社會(huì)至關(guān)重要的時(shí)間序列的例子，這些不斷變化的數(shù)據(jù)流的變遷是不可預(yù)測的。而實(shí)時(shí)對這些數(shù)據(jù)進(jìn)行分析并利用它們預(yù)測未來的行為，可以推動(dòng)自動(dòng)駕駛汽車等新興技術(shù)的發(fā)展。

因此，哈薩尼就創(chuàng)建了一個(gè)適合這類任務(wù)的算法。 他設(shè)計(jì)了一個(gè)可以適應(yīng)現(xiàn)實(shí)世界可變性的神經(jīng)網(wǎng)絡(luò)。

眾所周知，神經(jīng)網(wǎng)絡(luò)是一種通過分析訓(xùn)練數(shù)據(jù)來識(shí)別模式的算法，人們常說，它能模擬大腦的處理過程。

而哈薩尼則是直接從顯微鏡下的線蟲C. elegans中獲得了靈感：

「它的神經(jīng)系統(tǒng)只有302個(gè)神經(jīng)元，但它可以產(chǎn)生出乎意料的復(fù)雜動(dòng)態(tài)」

在對線蟲神經(jīng)元是如何通過電脈沖得到激活并相互交流的仔細(xì)研究下，哈薩尼對他創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行了編碼。

在他用來構(gòu)建神經(jīng)網(wǎng)絡(luò)的方程中，他允許參數(shù)依據(jù)一套微分方程的結(jié)果，隨時(shí)間變化。

這種靈活性，正是關(guān)鍵——大多數(shù)神經(jīng)網(wǎng)絡(luò)的行為在訓(xùn)練階段之后是固定的，這意味著它們并不善于適應(yīng)傳入數(shù)據(jù)流的變化。

哈薩尼表示，他創(chuàng)建的的「液態(tài)」網(wǎng)絡(luò)的流動(dòng)性，使其對意外或噪聲數(shù)據(jù)更有彈性——比如大雨遮擋了自動(dòng)駕駛汽車上的攝像頭的視野。

「因此，它更有活力」，他說。

他補(bǔ)充說，網(wǎng)絡(luò)的靈活性還有另一個(gè)優(yōu)勢:「它更易于理解」

哈薩尼說，他的「液態(tài)」網(wǎng)絡(luò)避開了其他神經(jīng)網(wǎng)絡(luò)常見的不可思議之處：

「只是使用微分方程改變一個(gè)神經(jīng)元的表現(xiàn)形式，你就可以探索某種程度的復(fù)雜性，否則，你將永遠(yuǎn)無法實(shí)現(xiàn)探索」

得益于這款神經(jīng)網(wǎng)絡(luò)中為數(shù)不多卻具有很強(qiáng)表達(dá)性的神經(jīng)元，觀察神經(jīng)網(wǎng)絡(luò)做決策的過程以及判斷網(wǎng)絡(luò)分類的原因變得更加容易。

哈薩尼說:「這個(gè)模型具有更加豐富的表達(dá)能力」，因此，這個(gè)特性可以幫助工程師更好的理解和改進(jìn)液態(tài)網(wǎng)絡(luò)的性能。

預(yù)測精確，小尺寸省下大量計(jì)算成本

液態(tài)網(wǎng)絡(luò)在一系列測試中表現(xiàn)都非常出色：

從大氣化學(xué)跨越到交通模式的應(yīng)用上，模型在精確預(yù)測數(shù)據(jù)集未來值方面，比其他最先進(jìn)的時(shí)間序列算法高出好幾個(gè)百分點(diǎn)。

哈薩尼表示：「在許多應(yīng)用中，我們看到了可靠的高性能」

此外，由于該網(wǎng)絡(luò)的尺寸很小，因此它在完成測試時(shí)無需花費(fèi)高昂的計(jì)算成本。

哈薩尼說:「每個(gè)人都在談?wù)摂U(kuò)展他們的網(wǎng)絡(luò)。而我們希望的則是縮小規(guī)模，擁有更少但更豐富的節(jié)點(diǎn)」

這項(xiàng)研究部分由波音公司、國家科學(xué)基金會(huì)、奧地利科學(xué)基金和歐洲領(lǐng)導(dǎo)電子元件和系統(tǒng)提供資助。

哈薩尼的計(jì)劃是，繼續(xù)改進(jìn)該系統(tǒng)，來為工業(yè)應(yīng)用做好準(zhǔn)備：

「受到自然現(xiàn)象的啟發(fā)，我們有一個(gè)更有表現(xiàn)力的神經(jīng)網(wǎng)絡(luò)，但，這僅僅是個(gè)開始」

「接下來，我們要面臨很明顯的挑戰(zhàn)：如何進(jìn)一步發(fā)展它? 我們認(rèn)為，這種網(wǎng)絡(luò)可能成為未來智能系統(tǒng)的關(guān)鍵元素」

參考鏈接：

https://news.mit.edu/2021/machine-learning-adapts-0128

總結(jié)

以上是生活随笔為你收集整理的受显微镜下线虫启发，MIT人工智能实验室推出“液态”神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。