圖靈 TOPIA，作者：安然

　　近日，在第 34 屆 AAAI 年度人工智能大會的新聞發(fā)布會上，來自多倫多大學(xué)的教授 Geoffrey Hinton、Facebook 的 Yann LeCun 以及和蒙特利爾 MILA 人工智能研究所的 Yoshua Bengio 進(jìn)行了一場討論，話題包括人工智能倫理以及“常識”在人工智能中可能意味著什么，以及未來的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的發(fā)展方向。

　　Hinton 和 Yann LeCun 以及 Yoshua Bengio 在深度學(xué)習(xí)領(lǐng)域有很高的造詣，被譽(yù)為“深度學(xué)習(xí)三巨頭”。

　　他們表示，新型的硬件可以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理，可以產(chǎn)生更大的模型，也許有一天會使萬億突觸神經(jīng)網(wǎng)絡(luò)成為可能，同樣重要的是即將到來的機(jī)器人革命。

　　在硬件方面，Hinton 進(jìn)一步解釋了限制當(dāng)今神經(jīng)網(wǎng)絡(luò)的技術(shù)方面。例如，他指出，神經(jīng)網(wǎng)絡(luò)的權(quán)值必須使用數(shù)百次，并對權(quán)值進(jìn)行頻繁的更新。他說，圖形處理單元(GPU)的內(nèi)存有限，必須不斷地在外部 DRAM 中存儲和檢索，這是一個限制因素。

　　更大的芯片內(nèi)存儲容量“將有助于像 Transformer 這樣的軟注意力，”Hinton 說，他指的是在 2017 年谷歌大會上開發(fā)的廣受歡迎的自回歸神經(jīng)網(wǎng)絡(luò)。他說，使用“鍵/值”對來存儲和從內(nèi)存中檢索數(shù)據(jù)的變壓器，如果使用具有大量內(nèi)嵌內(nèi)存的芯片，可能會大得多。

　　LeCun 和 Bengio 對此表示贊同，LeCun 指出 GPU“迫使我們進(jìn)行批處理”，即數(shù)據(jù)樣本在經(jīng)過神經(jīng)網(wǎng)絡(luò)時分組，“這是低效的”。另一個問題是 GPU 假定神經(jīng)網(wǎng)絡(luò)是由矩陣產(chǎn)品構(gòu)成的，這迫使科學(xué)家限制了可以構(gòu)建到此類網(wǎng)絡(luò)中的轉(zhuǎn)換類型。

　　Bengio 表示：“還有稀疏計算，在 GPU 上運(yùn)行不方便……在這種情況下，大多數(shù)數(shù)據(jù)，比如像素值，可能是空的，只有很少的有效位需要處理。

　　LeCun 預(yù)測，新的硬件將導(dǎo)致“更大的神經(jīng)網(wǎng)絡(luò)與稀疏激活”，他和 Bengio 都強(qiáng)調(diào)，在消耗更少的能量下做同樣數(shù)量的工作更有興趣的。

　　然而，LeCun 為人工智能辯護(hù)，反駁它是一個能源消耗大戶的說法。他說，F(xiàn)acebook 每年每個用戶消耗的能源是 1500 瓦，這與其他消耗能源的技術(shù)相比，這并不算多。LeCun 表示，硬件最大的問題是在訓(xùn)練方面，它是 Nvidia GPU 和谷歌 TPU 的雙頭壟斷，這重復(fù)了他去年在國際固態(tài)電路會議上提出的觀點(diǎn)。

　　LeCun 說，比用于訓(xùn)練的硬件更有趣的是用于推理的硬件設(shè)計。LeCun 重申了一年前發(fā)表的一份聲明，稱 Facebook 正在為人工智能開發(fā)各種內(nèi)部硬件項目，包括推理，但他拒絕透露細(xì)節(jié)。

　　Hinton 指出，當(dāng)今的神經(jīng)網(wǎng)絡(luò)很小，而真正的大神經(jīng)網(wǎng)絡(luò)可能只有一百億個參數(shù)。

　　硬件方面的進(jìn)步可能會通過制造更大的網(wǎng)絡(luò)，增加更多的權(quán)重來推動 AI 的發(fā)展。

　　 他說：“大腦的一立方厘米內(nèi)有一萬億個突觸。” “如果有通用人工智能之類的東西，它可能需要一萬億個突觸。”

　　至于機(jī)器中的“常識”是什么樣子的，沒有人真正知道，Bengio 說。

　　Hinton 抱怨說，人們一直在改變目標(biāo)，比如使用自然語言模型。“我們終于做到了，然后他們說這并不是真正的理解。他說:“現(xiàn)在我們在這方面做得很好，他們想找些別的東西來評判機(jī)器學(xué)習(xí)。”“這就像試圖與一個有宗教信仰的人爭論，你不可能贏。”

　　但是，一位記者問道，公眾關(guān)心的與其說是缺乏人類理解的證據(jù)，不如說是缺乏機(jī)器以一種陌生的方式運(yùn)行的證據(jù)，比如“對抗性的例子”。Hinton 回答說，對抗性的例子表明分類器的行為還不是很正確。他說：“雖然我們能夠正確地對事物進(jìn)行分類，但網(wǎng)絡(luò)這么做的理由絕對是錯誤的。”“相反的例子向我們表明，機(jī)器正在以與我們不同的方式做事。”

　　LeCun 指出，動物也會像機(jī)器一樣被愚弄。他若有所思地說：“你可以設(shè)計一個適合人類的測試，但不適合其他生物。” Hinton 表示同意，他說:“家貓也有同樣的局限。”

　　此外，LeCun、Hinton、Bengio 也是著名的圖靈獎的獲得者。

　　三人一致認(rèn)為，對人工智能來說，另一個可能被證明是巨大進(jìn)步的東西是機(jī)器人。Hinton 說：“我們正處于一場革命的開端，這將是一個大問題”。許多應(yīng)用程序，如視覺。他說，機(jī)器人不是分析一個靜態(tài)圖像或視頻幀的全部內(nèi)容，而是創(chuàng)建一個新的“感知模型”。

　　他解釋說：“你要先看一個地方，然后再看另一個地方，所以現(xiàn)在就變成了一個涉及注意力活動的連續(xù)過程。”Hinton 預(yù)測，去年 OpenAI 在操縱魔方方面的工作，是機(jī)器人技術(shù)的一個分水嶺，或者更確切地說，是“AlphaGo 時刻”。

　　LeCun 對此表示贊同，他說 Facebook 運(yùn)行人工智能項目并不是因為 Facebook 本身對機(jī)器人有著極大的興趣，而是因為它被視為“人工智能研究進(jìn)步的重要基礎(chǔ)”。

　　這三位科學(xué)家對某些觀點(diǎn)表示懷疑，雖然大多數(shù)有關(guān)深度學(xué)習(xí)的研究都是公開進(jìn)行的，但一些公司在吹噓人工智能的同時對細(xì)節(jié)保密。

　　“它之所以被隱藏起來，是因為它讓人們覺得它很重要，”Bengio 說，而實(shí)際上，許多深入公司的工作可能并不具有開創(chuàng)性。“有時候，公司會讓它看起來比實(shí)際復(fù)雜得多。”

　　Bengio 繼續(xù)在三大角色中繼續(xù)扮演自己的角色，他在 AI 的社會問題上直言不諱，例如建立道德體系。

　　當(dāng) LeCun 被問及面部識別算法的使用時，他指出，技術(shù)可以用于好的和壞的目的，這在很大程度上取決于社會的民主制度。但是 Bengio 稍微反駁說：“Yann 說的顯然是真的，但是杰出的科學(xué)家有責(zé)任說出來。”LeCun 若有所思地說，“為社會做決定”并不是科學(xué)的工作，這促使 Bengio 做出回應(yīng)，“我不是在說要做決定，我是說我們應(yīng)該參與進(jìn)來，因為一些國家的政府對這種參與是開放的。”

　　Hinton 經(jīng)常用幽默的旁白來強(qiáng)調(diào)事情，在會議快結(jié)束時，他指出了自己在 Nvidia 問題上的最大錯誤。“2009 年，我在 Nvidia 身上犯了一個大錯誤，”他說。“2009 年，我告訴 1000 名研究生，他們應(yīng)該去購買 Nvidia GPU，以加速他們的神經(jīng)網(wǎng)絡(luò)。我打電話給 Nvidia，說我剛向 1000 名研究人員推薦了你們的 GPU，你能給我一個免費(fèi)的嗎?他們說不行。

　　“如果我真的聰明的話，我應(yīng)該做的是把我所有的積蓄都投入 Nvidia 的股票。當(dāng)時股價是 20 美元，現(xiàn)在大概是 250 美元。”

　　參考鏈接：https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/

總結(jié)

以上是生活随笔為你收集整理的深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。