視頻鏈接：https://www.youtube.com/watch?v=JS12eb1cTLE&feature=youtu.be

吳恩達(dá)：Hi Yann，你研究神經(jīng)網(wǎng)絡(luò)很長(zhǎng)一段時(shí)間了，我想聽你講下自己的故事：你是怎么開始做人工智能的？又是怎么構(gòu)建神經(jīng)網(wǎng)絡(luò)的？

Yann LeCun：我從小就對(duì)「智能」很感興趣，例如人類智能的出現(xiàn)、人類的進(jìn)化等等。

而且我也對(duì)科技、太空等主題感興趣。我最喜歡的電影是《2001 太空漫游》，里面有智能機(jī)器、太空旅游、人類進(jìn)化等讓我癡迷的東西。其中關(guān)于智能機(jī)器的概念真的很吸引我。

后來我學(xué)習(xí)的專業(yè)是電子工程，大概在工程學(xué)院的第二年的時(shí)候，我偶然發(fā)現(xiàn)了一本哲學(xué)書，里面有 MIT 語言學(xué)家喬姆斯基（Noam Chomsky）和瑞士研究?jī)和l(fā)展的認(rèn)知心理學(xué)家讓·皮亞杰（Jean Piaget）的辯論。這個(gè)辯論主要圍繞語言的先天機(jī)制與后天培養(yǎng)。我們知道，喬姆斯基主張人類擁有語言是因?yàn)榇竽X內(nèi)有大量的單元結(jié)構(gòu)，是一種先天習(xí)得的機(jī)制，而皮亞杰認(rèn)為兒童的語言發(fā)展是通過后天學(xué)習(xí)到的。這兩方都聚攏了一批支持者為其辯護(hù)。

MIT 關(guān)注于感知機(jī)的西蒙·派珀特（Seymour Papert）支持皮亞杰的觀點(diǎn)，他表示感知機(jī)（Perceptron）是首個(gè)可以學(xué)習(xí)的機(jī)器，而我之前從未聽過。我讀了那篇文章，覺得「可以學(xué)習(xí)的機(jī)器」聽起來真妙。

所以，我開始在幾所大學(xué)的圖書館里面搜索任何我能找到的、討論感知機(jī)的書。隨后我意識(shí)到，50 年代這個(gè)領(lǐng)域的論文很多，然而到了 60 年代，這種討論隨著西蒙與他人合著的關(guān)于感知機(jī)一本書而終止。

吳恩達(dá)：那大概是什么年份？

Yann LeCun：大概是 20 世紀(jì) 80 年代。

所以，后來我和大學(xué)的幾位數(shù)學(xué)教授做了一些神經(jīng)網(wǎng)絡(luò)方面的項(xiàng)目。但 80 年代沒有人能夠與我討論，因?yàn)榛旧线@個(gè)領(lǐng)域像消失了一樣，很少人研究感知機(jī)。我只能自己做實(shí)驗(yàn)，寫了很多用于模擬的程序，讀了很多神經(jīng)科學(xué)方面的書。

在結(jié)束工程課程之后，我學(xué)習(xí)了芯片設(shè)計(jì)。進(jìn)行了一些項(xiàng)目之后，我覺得自己需要做這方面的研究，以解決當(dāng)時(shí)比較重要的一類問題：如何訓(xùn)練多層的神經(jīng)網(wǎng)絡(luò)。60 年代的文獻(xiàn)中明確表示這是一類沒有解決的重要問題。我當(dāng)時(shí)也讀了很多文章，你知道 Kunihiko Fukushima 的 Neo-cognitron 論文提出的層級(jí)架構(gòu)，非常類似于卷積網(wǎng)絡(luò)，但沒有類似反向傳播的學(xué)習(xí)算法。

論文鏈接：http://www.rctn.org/bruno/public/papers/Fukushima1980.pdf

后來，我在法國又碰到一小批人，他們也對(duì)此感興趣，但他們稱之為自動(dòng)機(jī)網(wǎng)絡(luò)（Automata Networks）。他們讓我看了一些研究 Hopfield 網(wǎng)絡(luò)的論文。你知道，這個(gè)網(wǎng)絡(luò)并不是特別流行，但卻是第一個(gè)帶有聯(lián)合記憶的神經(jīng)網(wǎng)絡(luò)。在 80 年代早期，這些研究重新引起了一些研究團(tuán)體對(duì)神經(jīng)網(wǎng)絡(luò)的興趣，其中大部分是物理學(xué)家，比如凝聚態(tài)物理學(xué)家，也有少數(shù)心理學(xué)家。這時(shí)候，工程師和計(jì)算機(jī)科學(xué)家并不參與討論神經(jīng)網(wǎng)絡(luò)。

他們也讓我看了另外一篇論文，即剛剛發(fā)布的預(yù)印版論文《Optimal Perceptual Inference》，這是第一篇有關(guān)玻爾茲曼機(jī)的論文，作者是 Geoffrey E. Hinton 和 Terrence J. Sejnowski。這篇論文討論了隱藏單元，提出了多層神經(jīng)網(wǎng)絡(luò)比單純的分類器更強(qiáng)大。我當(dāng)即就說，我覺得我需要見見這群人，因?yàn)槲覍?duì)這些問題也非常感興趣。后來，我讀博士時(shí)參與了一場(chǎng)同事們組織的 workshop，當(dāng)時(shí) Terrence 做了演講，我也碰到了 Hinton。

那是 1985 年，這是非常吸引人的一個(gè) workshop，有很多早期的理論神經(jīng)科學(xué)等領(lǐng)域的研究者。當(dāng)時(shí)，我也碰見了后來招我進(jìn)貝爾實(shí)驗(yàn)室的人。

在 workshop 上，我告訴 Terrence 我正在研究的類似反向傳播的算法，這時(shí) David E. Rumelhart、Geoffrey E. Hinton、Ronald J. Williams 三人的論文還沒發(fā)表（指論文《Learning representations by back-propagating errors》），而 Terrence 與 Hinton 是朋友，常常互通有無。所以當(dāng)時(shí) Terrence 已經(jīng)在做反向傳播相關(guān)的工作，但他當(dāng)時(shí)沒告訴我。

所以，他回到美國告訴 Hinton，法國有個(gè)小孩也在做和我們同樣的工作。然后幾個(gè)月后（6 月），法國有另外一個(gè)會(huì)議，Hinton 是 keynote 演講者，他介紹了用反向傳播的玻爾茲曼機(jī)。演講結(jié)束后大概有 50 人圍繞在他身邊，而他對(duì)主辦方說的第一句話是，「你知道有個(gè)小孩叫 Yann LeCun 嗎？」——當(dāng)時(shí)，他在 Proceedings 上讀了我的法語版論文，他懂一點(diǎn)法語，再加上數(shù)學(xué)公式，他能看懂那大概是反向傳播。所以我們一起吃了午飯，然后成為了朋友。

吳恩達(dá)：所以你們分別獨(dú)立重造了反向傳播？

Yann LeCun：是的，或者說，我們意識(shí)到鏈?zhǔn)椒▌t的重要性，也就是那些研究最優(yōu)控制的學(xué)者所說的伴隨態(tài)方法（adjoint state method），是非常重要的。而那才是反向傳播真正被「發(fā)明」的環(huán)境： 20 世紀(jì) 60 年代的最優(yōu)控制研究領(lǐng)域。「在不同的層級(jí)利用梯度」就是反向傳播的實(shí)質(zhì)，而這個(gè)概念在不同時(shí)期的不同語境下反復(fù)出現(xiàn)。但是 Rumelhart，Hinton 和 Williams 的論文讓這個(gè)概念變得流行了起來。

吳恩達(dá)：讓我們快進(jìn)幾年，你在 AT&T 貝爾實(shí)驗(yàn)室工作過一段時(shí)間，期間，你的重要工作之一是發(fā)明了 LeNet。我在我的課程上提到了它，并且當(dāng)我還是貝爾實(shí)驗(yàn)室的一名暑期實(shí)習(xí)生的時(shí)候，我就聽說過你的工作。能否給我們講述更多關(guān)于 AT&T 以及 LeNet 的故事呢？

Yann LeCun：我實(shí)際上是在博士后時(shí)期開始研究卷積神經(jīng)網(wǎng)絡(luò)的，當(dāng)時(shí)我在多倫多大學(xué) Jeff Hinton 組。我寫了早期相關(guān)的代碼，并做了第一批實(shí)驗(yàn)。

當(dāng)時(shí)還沒有 MNIST，我用鼠標(biāo)畫了一些字符，用數(shù)據(jù)擴(kuò)增技術(shù)增加了數(shù)據(jù)量，然后用這個(gè)數(shù)據(jù)集測(cè)試模型的效果。

我比較了全連接神經(jīng)網(wǎng)絡(luò)、局部連接但是不共享參數(shù)的網(wǎng)絡(luò)、以及局部連接且共享參數(shù)的網(wǎng)絡(luò)，后者就是第一代卷積神經(jīng)網(wǎng)絡(luò)。

模型在小規(guī)模數(shù)據(jù)集上效果很好，有更好的表現(xiàn)，而且在卷積結(jié)構(gòu)下沒有過擬合。而當(dāng)我在 1988 年 10 月進(jìn)入貝爾實(shí)驗(yàn)室之后，我做的第一件事就是放大模型規(guī)模，因?yàn)槟抢镉懈斓碾娔X。就在我進(jìn)入實(shí)驗(yàn)室?guī)讉€(gè)月之前，我的老板 Larry Jekyll（后來他成為了貝爾實(shí)驗(yàn)室主任）問我：「我們應(yīng)該在你來之前先訂購電腦，你想要什么？」當(dāng)時(shí)我們?cè)诙啻?#xff0c;我們有一部 Sun-4，當(dāng)時(shí)最好的電腦，所以我對(duì)他說，「如果（在實(shí)驗(yàn)室）也有一臺(tái)的話會(huì)很贊。」于是他們訂購了一臺(tái)，所以我就自己擁有了一臺(tái)電腦！

要知道，在多大，我們是整個(gè)系共享一臺(tái)電腦，但是現(xiàn)在我自己就有一部電腦！當(dāng)時(shí) Larry 對(duì)我說，「在貝爾實(shí)驗(yàn)室，你不會(huì)因?yàn)槭″X而聞名天下的」，這簡(jiǎn)直太棒了。而且，他們已經(jīng)在字母識(shí)別任務(wù)上工作了一段時(shí)間，積累了一個(gè)「龐大」的數(shù)據(jù)集，叫做 USPS，有 5000 個(gè)訓(xùn)練樣本。所以我立刻訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，你可以叫它 LeNet one，在 USPS 數(shù)據(jù)集上取得了相當(dāng)不錯(cuò)的效果——比實(shí)驗(yàn)室或者外部人員試過的所有方法都要好。

那時(shí)我們就知道，我們做出了一些成果。此時(shí)距離我加入貝爾實(shí)驗(yàn)室僅僅三個(gè)月。

這是第一個(gè)版本的卷積神經(jīng)網(wǎng)絡(luò)，我們用了帶有步幅（strides）移動(dòng)的卷積運(yùn)算，但沒有單獨(dú)的子采樣（subsampling）也沒有池化層（pooling），換言之每個(gè)卷積都在直接進(jìn)行下采樣。這樣設(shè)計(jì)的原因是因?yàn)槲覀儫o法承擔(dān)每個(gè)點(diǎn)都有一個(gè)卷積的計(jì)算量。

第二個(gè)版本有單獨(dú)的卷積、池化和下采樣層，這就是 LeNet one。我們?cè)?Neural Computation 和 NIPS 上發(fā)表了一系列論文。

有趣的是，我在 NIPS 上做了一個(gè)關(guān)于這篇論文的演講，Jeff Hinton 當(dāng)時(shí)就在觀眾席。當(dāng)我回到我的座位（我當(dāng)時(shí)正好坐在他旁邊），他說，「你的演講傳遞一個(gè)信息：如果你做出所有合理的選擇，模型會(huì)變得能用。（If you do all the sensible things, it actually works.）」

吳恩達(dá)：可以肯定的是這項(xiàng)工作在這之后繼續(xù)創(chuàng)造著歷史，這個(gè)思路開始被用于讀取支票。

Yann LeCun：是，當(dāng)時(shí)這項(xiàng)技術(shù)開始在 AT&T 內(nèi)部應(yīng)用，但是幾乎沒有在外部使用。

我很難解釋其原因，但是我覺得有這樣一些影響因素：

其一，當(dāng)時(shí)是 80 年代末，沒有互聯(lián)網(wǎng)，我們有基于 FTP 的電子郵件，但那還并不是真正的互聯(lián)網(wǎng)。其二，沒有任何兩個(gè)實(shí)驗(yàn)室采用相同的軟件或硬件平臺(tái)。有些人用工作站，有些人用 PC，沒有類似 Python 或者 MATLAB 這樣的框架，人們都要自己寫代碼。

我和 Leon Powe 兩個(gè)人花了大概一年半時(shí)間，基本上就寫了個(gè)神經(jīng)網(wǎng)絡(luò)模擬器。而且因?yàn)闆]有 MATLAB 或者 Python，你得自己寫解釋器（interpreter）來控制你的模型，所以我們寫了自己的 Lisp 解釋器，LeNet 也就完全是用 Lisp 以及一個(gè)數(shù)值計(jì)算后端寫的。結(jié)構(gòu)和現(xiàn)在的框架很像，有不同的模塊，你可以把它們相互連接起來，然后進(jìn)行微分計(jì)算等所有那些現(xiàn)在為人熟悉的框架（Torch、PyTorch 或者 TensorFlow）都具有的功能。

然后我們和一群工程師一起開發(fā)了一系列應(yīng)用。那是一群非常聰明的人，比如有的人原來是理論物理學(xué)家，后來來到貝爾實(shí)驗(yàn)室做了工程師。Chris Burgess 就是其中之一，他后來在微軟研究院有著杰出的職業(yè)生涯。Craig Knoll 也是其中之一。我們和很多優(yōu)秀的人合作，把這個(gè)特別的概念變成現(xiàn)實(shí)。

我們一起開發(fā)了很多應(yīng)用，比如字母識(shí)別系統(tǒng)，那是一個(gè)結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和類似條件隨機(jī)場(chǎng)（CRF）的模型，用來識(shí)別字母序列，而不是單獨(dú)的字母。

吳恩達(dá)：是的，我讀了那篇 LeNet 論文，先讓數(shù)據(jù)通過一個(gè)神經(jīng)網(wǎng)絡(luò)，然后再讓其通過一個(gè)自動(dòng)機(jī)把識(shí)別出來的字母合并在一起。

Yann LeCun：是的，論文的前半在講卷積神經(jīng)網(wǎng)絡(luò)，那是全文最激動(dòng)人心的部分。而后半部分鮮少有人讀過。后半部分講的是序列層面的判別式學(xué)習(xí)（discriminantive learning）以及不帶歸一化（normalization）過程的結(jié)構(gòu)預(yù)測(cè)，非常像 CRF。

這是個(gè)很成功的做法。當(dāng)時(shí) AT&T 的一個(gè)子公司 NCR 的一支產(chǎn)品團(tuán)隊(duì)是我們的「客戶」，負(fù)責(zé)把我們的系統(tǒng)嵌入到能讀取支票的 ATM 機(jī)等設(shè)備中。這個(gè)系統(tǒng)被部署到一家大型銀行的那天，我們團(tuán)隊(duì)在一家高檔餐廳吃飯慶祝，然而消息傳來說，AT&T 決定拆分改組。當(dāng)時(shí)是 1995 年，拆分后，AT&T 變?yōu)槿夜?#xff0c;分別是 AT&T，Lucent Technologies 和 NCR。工程團(tuán)隊(duì)被分到了 Lucent Technologies，產(chǎn)品團(tuán)隊(duì)被分到了 NCR。遺憾的是，AT&T 的律師團(tuán)動(dòng)用他們無盡的智慧之后決定把卷積神經(jīng)網(wǎng)絡(luò)的專利（是的，卷積神經(jīng)網(wǎng)絡(luò)是有專利的，但是謝天謝地它在 2007 年已經(jīng)過期了）分給了 NCR，然而 NCR 完全沒有人知道卷積神經(jīng)網(wǎng)絡(luò)到底是什么。所以 NCR 的人們手握卷積神經(jīng)網(wǎng)絡(luò)的專利卻根本不知道自己掌握的是什么。而我們?cè)诹硪患夜?#xff0c;無法再進(jìn)行與卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的研究。

吳恩達(dá)：除了那些神經(jīng)網(wǎng)絡(luò)很火的時(shí)期之外，你在「神經(jīng)網(wǎng)絡(luò)寒冬」里也堅(jiān)持對(duì)神經(jīng)網(wǎng)絡(luò)的信念，那是什么感覺？

Yann LeCun：某種意義上來說我堅(jiān)持了，另一個(gè)角度來看我也并沒有。我始終相信這類技術(shù)會(huì)走回前沿，人們會(huì)找到在實(shí)際生活中應(yīng)用它們的辦法，我心底始終對(duì)此堅(jiān)信不疑。但是在 1996 年，隨著 AT&T 的拆分，我們所有的字母識(shí)別的工作基本上都停滯了，而我也升職成為了部門負(fù)責(zé)人，我必須為團(tuán)隊(duì)找到可以做的選題。當(dāng)時(shí)還是互聯(lián)網(wǎng)的萌芽期，我持有一個(gè)觀點(diǎn)：隨著互聯(lián)網(wǎng)的興起，我們必須找到把所有紙面上的知識(shí)轉(zhuǎn)移到電子化世界的方法，所以我開始了一個(gè)叫 DjVu 的項(xiàng)目，旨在壓縮掃描文件好讓它們得以分布在互聯(lián)網(wǎng)上。這個(gè)項(xiàng)目在一段時(shí)間內(nèi)很有趣，取得了一定的成功，雖然 AT&T 也不知道該用它來做什么。

吳恩達(dá)：是的，我對(duì)那個(gè)項(xiàng)目有印象，旨在幫助線上傳播研究工作。

Yann LeCun：是的，我們掃描了整本 NIPS 論文集，然后把它發(fā)布在了網(wǎng)上，來展示這項(xiàng)技術(shù)如何工作。我們可以把高清的掃描頁壓縮到幾 kb。

吳恩達(dá)：你在非常早期的工作中展示出來的（對(duì)卷積神經(jīng)網(wǎng)絡(luò)的）信念現(xiàn)在已經(jīng)席卷了計(jì)算機(jī)視覺領(lǐng)域，并且在持續(xù)影響其它領(lǐng)域，談?wù)勀闶窃趺纯创@整個(gè)過程的。

Yann LeCun：我剛剛提到，我在很早就預(yù)見了這一切的發(fā)生。其一我一直相信這方法能行，雖然它需要很快的電腦和大量數(shù)據(jù)，但是我一直認(rèn)為這是正確的做法。我在貝爾實(shí)驗(yàn)室的時(shí)候就見證了機(jī)器持續(xù)不斷朝著越來越強(qiáng)大的方向進(jìn)步，在貝爾實(shí)驗(yàn)室時(shí)期，我們就在設(shè)計(jì)芯片來運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)，我們用兩塊不同的芯片來高效地運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)，所以我們看到了芯片性能的改善，相信這會(huì)是一個(gè)持續(xù)不斷的過程。

然而在 90 年代中期，對(duì)神經(jīng)網(wǎng)絡(luò)的興趣逐漸走向衰微，所以這個(gè)過程沒有立刻發(fā)生。在 1995 年到 2002 年這 6、7 年時(shí)間里，基本上沒人進(jìn)行相關(guān)研究。

微軟在 21 世紀(jì)初，他們就用卷積神經(jīng)網(wǎng)絡(luò)做了中文字符識(shí)別，在法國以及其他地方也有一些小的有關(guān)人臉檢測(cè)的工作，但規(guī)模都非常小。

我最近發(fā)現(xiàn)，有不少組提出的想法本質(zhì)上與卷積神經(jīng)網(wǎng)絡(luò)非常相似，但是并沒有發(fā)表，用于醫(yī)療圖像分析。這些想法大部分是在卷積系統(tǒng)語境下，因此它并未應(yīng)用到職業(yè)領(lǐng)域中。我的意思是在對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研究之后，研究者并未真正意識(shí)到它的力量，不過卷積神經(jīng)網(wǎng)絡(luò)依然得到了發(fā)展。

你知道很多人提出的想法是類似的，或者隔了幾年提出的想法是類似的，但是在 2012 年 ImageNet 挑戰(zhàn)賽出現(xiàn)后，研究者的興趣改變得非常快。2012 年末在佛羅倫薩 ECCV 舉辦的 ILSVRC 2012 是一個(gè)非常有趣的賽事，ECCV 上有一個(gè)關(guān)于 ImageNet 的 workshop，每個(gè)人都知道 Geoffrey Hinton 團(tuán)隊(duì)的 Alex Krizhevsky 以極大的優(yōu)勢(shì)贏得了比賽，每個(gè)人都在等待 Alex Krizhevsky 的演講，大會(huì)委員會(huì)的大部分人不知道 AlexNet 是什么。我的意思是他們聽我講過這個(gè)網(wǎng)絡(luò)，在 CVPR 2000 會(huì)議上，但是大部分人并沒有太注意它。一些資深的研究者知道 AlexNet 是什么，而社區(qū)中的大部分年輕人并不了解它。

然后 Alex Krizhevsky 進(jìn)行了演講，他并沒有解釋 AlexNet 是什么，因?yàn)樗麃碜詸C(jī)器學(xué)習(xí)社區(qū)，認(rèn)為所有人都已經(jīng)知道了 AlexNet 的架構(gòu)。很多人感到震驚，你可以看到在 Alex Krizhevsky 進(jìn)行演講的時(shí)候，人們的想法改變了，包括領(lǐng)域內(nèi)非常資深的人。是的，計(jì)算機(jī)視覺領(lǐng)域的改變正是從那時(shí)開始。

吳恩達(dá)：那么今天你仍然保留 NYU 的教職，并且仍然在 FAIR 任職。我知道你對(duì)公司如何開展研究有著獨(dú)到的見解，可以分享一下嗎？

Yann LeCun：我認(rèn)為過去四年在 Facebook 的經(jīng)歷最美好的體驗(yàn)就是我被賦予充分的自由來按照自己認(rèn)為最合適的方式建設(shè) FAIR，因?yàn)檫@是 Facebook 內(nèi)部第一個(gè)研究組織。

Facebook 是一家以工程為中心的公司，目前又重新聚焦生存或一些短期問題。在創(chuàng)立快 10 年的時(shí)候，這家公司成功上市，那時(shí)候差不多就開始思考下一個(gè) 10 年的問題。他們告訴我扎克伯格關(guān)于未來 10 年的想法，哪些問題將變得重要。那時(shí)候，Facebook 的生存已經(jīng)不是問題。對(duì)于大公司來說，或者對(duì)于當(dāng)時(shí)只有 5000 名員工的 Facebook 來說，那是一個(gè)轉(zhuǎn)折點(diǎn)，它可以開始思考下一個(gè) 10 年的問題，思考技術(shù)的發(fā)展重點(diǎn)。

馬克及他的團(tuán)隊(duì)認(rèn)為，AI 將會(huì)成為一項(xiàng)關(guān)鍵的社交網(wǎng)絡(luò)技術(shù)，同時(shí)這也是 Facebook 的使命所在。因此，他們探索了幾種 AI 的利用方式。他們組建了一個(gè)小型的內(nèi)部團(tuán)隊(duì)，用卷積網(wǎng)絡(luò)在人臉識(shí)別和其他幾個(gè)方面取得了很好的效果，這激發(fā)了他們的興趣。于是他們開始嘗試聘用一批年輕的研究者，收購一家 AI 公司，還有其他一些類似的舉措。最終，他們決定聘用該領(lǐng)域的資深專家并創(chuàng)建了一個(gè)研究組織。最初，這種做法遭遇了一點(diǎn)文化沖擊，因?yàn)楣臼褂玫难芯糠椒ㄅc工程大相徑庭。人們會(huì)問，為什么你的時(shí)間比別人長(zhǎng)，范圍比別人大？研究者們對(duì)于他們想要選擇的研究領(lǐng)域非常保守。在很早的時(shí)候我就清楚，研究應(yīng)該是開放的，我們不僅需要鼓勵(lì)，還應(yīng)該要求研究者去發(fā)表研究成果，同時(shí)以一種我們熟悉的衡量標(biāo)準(zhǔn)去衡量這些成果，從而讓我們有機(jī)會(huì)了解這些研究。馬克和 CTO 邁克表示 Facebook 是一個(gè)開放的公司，我們?cè)陂_源方面也有很多貢獻(xiàn)。我們的 CTO 就曾致力于開源，此外公司還有不少人也是如此。可以說開放是刻在 Facebook 骨子里的。因此，或許這讓我們有信心建立開源研究組織，Facebook 不像其他有些公司一樣對(duì)知識(shí)產(chǎn)權(quán)有著執(zhí)著的追求，這種文化使得我們更容易與高校合作，在產(chǎn)業(yè)界和學(xué)界都能有所涉獵。

如果你看看我過去四年發(fā)表的論文，就會(huì)發(fā)現(xiàn)大部分論文是我 NYU 的學(xué)生一起寫的，因?yàn)樵?Facebook 我做了很多實(shí)驗(yàn)室組織工作，指導(dǎo)科研方向等，但是我沒有涉及個(gè)人研究項(xiàng)目，讓我的名字出現(xiàn)在論文上。我并不在意論文。你會(huì)想要呆在幕后，不想和實(shí)驗(yàn)室里的人競(jìng)爭(zhēng)。

吳恩達(dá)：對(duì)想要進(jìn)入 AI 領(lǐng)域的人，你有什么建議？

Yann LeCun：如今與我剛剛進(jìn)入 AI 領(lǐng)域的時(shí)候已經(jīng)大不相同了。我認(rèn)為現(xiàn)在比較棒的是人們很容易就能達(dá)到一定水平，比如有方便使用的現(xiàn)成工具、TensorFlow、PyTorch 等，計(jì)算機(jī)會(huì)相對(duì)便宜，在家里就能訓(xùn)練卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)。而且，你也可以在線學(xué)習(xí)。所以，你看現(xiàn)在高中生都在做 AI，我認(rèn)為這非常棒。現(xiàn)在，從學(xué)生開始越來越多的人對(duì)機(jī)器學(xué)習(xí)、人工智能感興趣。

我的建議是，如果你想做 AI，就要高度參與其中，例如為開源項(xiàng)目做貢獻(xiàn)，或者實(shí)現(xiàn)一些標(biāo)準(zhǔn)算法。就像找到自己認(rèn)為重要的論文，重現(xiàn)里面的算法，開源出來。如果你寫的東西有用，你就會(huì)受到關(guān)注。這樣，你可能就會(huì)收到中意公司的工作 offer，或者參與到喜歡的 PhD 項(xiàng)目中。

總結(jié)

以上是生活随笔為你收集整理的吴恩达对话Yann LeCun：从相识Hinton到深度学习崛起的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。