神经网络的三生三世
人工智能、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)這些概念的提出和研究，基本都是在歐美科學(xué)家的主導(dǎo)之下開展的。畢竟，當時的中國還處于從水深火熱轉(zhuǎn)為解決溫飽的狀態(tài)，只有歐美等國具備這個研究條件。計算機類的科學(xué)研究，在早期不能不提“圖靈測試”。20 世紀中葉，人工智能之父圖靈，也有人說人工智能之父這一稱號屬于約翰·麥卡錫（發(fā)明至今廣泛應(yīng)用于人工智能領(lǐng)域的Lisp 語言、最早建立人工智能實驗室等），反正都是偉人。圖靈提出對計算機是否有智能進行測試，當時還提出以象棋比賽進行人工智能的測試。圖靈表示，正如人類一樣，在測試計算機“IQ”之前，需要對它們進行一定的訓(xùn)練。這一理論奠定了“圖靈測試”的基礎(chǔ)。
自圖靈提出“機器與智能”，一直就有兩派觀點，一派認為實現(xiàn)人工智能必須用邏輯和符號系統(tǒng)，這一派看問題是自頂向下的；還有一派認為通過仿造大腦可以達到人工智能，這一派是自底向上的，他們認定如果能造一臺機器，模擬大腦中的神經(jīng)網(wǎng)絡(luò)，這臺機器就有智能了。前一派，我想用“想啥來啥”來形容；后一派就稱之為“吃啥補啥”，估計他們的思想來源于中國古代的原始思維，套一句庸俗的哲學(xué)詞，前者偏唯心，后者偏唯物。這兩派一直是人工智能領(lǐng)域里兩個階級、兩條路線的斗爭，這斗爭有時還你死我活。
圖靈是計算機領(lǐng)域的“祖師爺”, 是二戰(zhàn)英雄， 卻在悲涼中結(jié)束一生。電影《模仿游戲》讓我們了解到了我們的歷史中還有這樣一個堪稱偉大的人物存在，艾倫·圖靈做出的貢獻遠不止于破譯密碼，而在于他用自己的執(zhí)著與智慧阻止了更為長久的戰(zhàn)爭。而且也稱得上是計算機界的“祖師爺”。我們不僅可以看到他在科學(xué)領(lǐng)域的“天才”，也能看到他在人格方面的“另類”以及由此承受的悲情。據(jù)說iphone的logo靈感來自于圖靈自殺時床頭那顆咬了一口的“毒蘋果”。圖靈于1954年被發(fā)現(xiàn)死于家中，被認定是自殺，年僅41歲，非常可惜，一位天才。
麥卡錫在1927年9月4日生于美國波士頓一個共產(chǎn)黨家庭。1948年獲得加州理工學(xué)院數(shù)學(xué)學(xué)士學(xué)位，1951年獲得普林斯頓大學(xué)數(shù)學(xué)博士學(xué)位。作為備受尊敬的計算機科學(xué)家、認知科學(xué)家，麥卡錫在1955年的達特矛斯會議上提出了“人工智能”一詞，并被譽為人工智能之父，并將數(shù)學(xué)邏輯應(yīng)用到了人工智能的早期形成中。麥卡錫在1958年發(fā)明了LISP語言（該語言至今仍在人工智能領(lǐng)域廣泛使用）并于1960年將其設(shè)計發(fā)表在《美國計算機學(xué)會通訊》上。他幫助推動了麻省理工學(xué)院的MAC項目。 然而，他在1962年了離開麻省理工學(xué)院，前往斯坦福大學(xué)并在那里協(xié)助建立了斯坦福人工智能實驗室，成為MAC項目多年來的一個友好的競爭對手。他因在人工智能領(lǐng)域的貢獻而在1971年獲得計算機界的最高獎項圖靈獎。
圖靈測試究竟是什么東西呢？
圖靈測試（Turing test，又譯圖靈試驗）是圖靈提出的一個關(guān)于機器能否思考的著名判斷原則。1950 年，圖靈在曼徹斯特大學(xué)任教，同時也是曼徹斯特大學(xué)計算機實驗室的副主任，負責(zé)最早的真正的計算機——曼徹斯特一號的軟件工作。他發(fā)表了一篇題為《機器能思考嗎？》（Can Machines Think?）的論文，在這篇論文里，圖靈第一次提出“機器思維”的概念。他逐條反駁了機器不能思維的論調(diào)，做出了肯定的回答。同時，他嘗試定出一個決定機器是否有感覺的標準：在彼此不接觸的情況下，對話者通過一種特殊的方式（如具有電報通信功能的打字機等），與一臺計算機交流，也就是進行一系列的問答。如果在一段時間內(nèi)，對話者無法根據(jù)這些問答判斷對方是人還是計算機，那么，就可以認為這臺計算機具備人類的智能，即這臺計算機是能思維的。這就是著名的“圖靈測試”。圖靈預(yù)言2000 年就可以出現(xiàn)騙過30%裁判的機器人。也正是這篇文章，為圖靈贏得了一頂桂冠——“人工智能之父”。可以說圖靈確實牛，我從心底里佩服他，在1947 年圖靈就已經(jīng)闡述了如何對機器學(xué)習(xí)的結(jié)果進行檢查的方法，而且這一方法是很有遠見和可操作性的！
西方科學(xué)界是很高產(chǎn)的，環(huán)境好，能源源不斷地產(chǎn)出各種新思想和解決方案。實際上，在仿生派與圖靈提出“圖靈測試”之前，1943 年，傳奇人物麥卡洛可（McCulloch）和皮茨（Pitts）就發(fā)表了模擬神經(jīng)網(wǎng)絡(luò)的原創(chuàng)文章。麥卡洛克-皮特斯模型 (McCulloch-Pitts model )簡稱MP模型一種神經(jīng)元網(wǎng)絡(luò)模型.它是在1943年，由美國心理學(xué)家麥卡洛克(McCulloch, W. S. )和數(shù)學(xué)家皮特斯((Puts , W.)等提出的利用神經(jīng)元網(wǎng)絡(luò)對信息進行處理的數(shù)學(xué)模型，從此人們開始了對神經(jīng)元網(wǎng)絡(luò)的研究.
該模型的主要目的是完成對神經(jīng)元狀態(tài)的描述.通過對大腦的分析，人們發(fā)現(xiàn)，從信息處理的功能看，神經(jīng)元由以下特點:
1.多輸入單輸出.
2.突觸(傳遞神經(jīng)沖動的地方)兼有興奮和抑制兩種性能.
3.能時間加權(quán)和空間加權(quán).
4.可產(chǎn)生脈沖.
5.脈沖進行傳遞
6.非線性(有值).
話分兩頭。皮茨從小就喜歡數(shù)學(xué)和哲學(xué)，初中時就讀過羅素的書——《數(shù)學(xué)原理》。有興趣的讀者可以看看羅素的《數(shù)學(xué)原理》，反正我是看不懂，皮茨同學(xué)當時才初中！皮茨讀完這本書后估計是仰慕羅素，還給羅素寫信。羅素愛才，邀請他到英國跟隨自己學(xué)習(xí)邏輯，但皮茨家里非常窮困，他連高中都沒有錢讀，英國留學(xué)自然是不可能了。皮茨15 歲時，他爸爸強行要他退學(xué)上班，就像所有愛讀書的窮孩子一樣，皮茨一怒就離家出走了。我記得我們初中那會有些同學(xué)是不愿意上學(xué)而離家出走，而皮茨和那些從小就調(diào)皮逃課的同學(xué)有著本質(zhì)的區(qū)別。后來，皮茨聽說羅素要到芝加哥大學(xué)任教，就只身來到芝加哥，還真見到了羅素，羅素把他推薦給當時也在芝加哥任教的卡爾納普。卡爾納普想看看這孩子到底有多聰明，就把自己寫的《語言的邏輯句法》（感興趣的讀者可以自己去搜）送給皮茨，沒過一個月，皮茨就看完了，把寫滿筆記的原書還給卡爾納普。卡爾納普驚為天人，于是給皮茨在芝加哥大學(xué)安排了一份打掃衛(wèi)生的工作。可能有讀者會問，為啥都驚為天人了，只給打掃衛(wèi)生的活？我想老卡主要是兩層用意，第一，掃馬路至少可以避免流浪街頭，有份固定工作，解決吃飯問題，皮茨是窮孩子啊！第二層用意估計是要再觀察下皮茨同學(xué)，畢竟他不是科班出身。皮茨后來結(jié)識了也在芝加哥的麥卡洛可。沃倫-麥卡洛可比皮茨大一輩，他本科在耶魯學(xué)哲學(xué)和心理學(xué)，后在哥倫比亞得了心理學(xué)碩士和醫(yī)學(xué)博士（MD)，其實醫(yī)學(xué)博士和哲學(xué)博士不是一回事，MD不是學(xué)術(shù)學(xué)位，屬終極職業(yè)學(xué)位，和MBA、MFA差不多。MD的那個D是指“醫(yī)生”，PhD的D才是博士。麥卡洛可畢業(yè)后做了幾年實習(xí)醫(yī)生，先去了耶魯研究神經(jīng)生理學(xué)，后又去了伊利諾伊大學(xué)芝加哥分校，做精神病學(xué)系的教授。麥卡洛可的強項是神經(jīng)科學(xué)，他不懂數(shù)學(xué)，因此他和17 歲的皮茨是絕配。他們合作的成果就是神經(jīng)網(wǎng)絡(luò)的第一篇文章：《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），發(fā)表在《數(shù)學(xué)生物物理期刊》上。后來這篇文章成了控制論的思想源泉之一。
那么問題來了，這個控制論又是是從哪兒冒出來的呢？要說控制論，就必須說說控制論的始作俑者諾伯特·維納。
諾伯特·維納早年自稱神童，他爸是哈佛教授，曾經(jīng)帶著他到英國見過羅素，但羅素特別不喜歡這爺兒倆。自從進入20 世紀后，各種門派最牛的學(xué)問，最后都能扯到羅素那兒。維納后來也在哈佛任教，但不被主流數(shù)學(xué)家喜歡，沒拿到終身教職。最后只好到麻省理工學(xué)院落腳（沒錯，落腳，大家趨之若鶩的名校在人家眼里和旅館差不多）。二戰(zhàn)時，他做槍炮控制方面的工作，引發(fā)了他對通信理論和反饋的興趣，他寫了《控制論》一書，促成了控制論的誕生。戰(zhàn)后發(fā)生了一件怪事，他邀請了人工智能、計算機科學(xué)和神經(jīng)心理學(xué)的年輕學(xué)者到麻省理工學(xué)院，這其中就包括麥卡洛可和皮茨。維納的老婆瑪格麗特是德國移民，在二戰(zhàn)時，家里還偷藏了一本英文版的希特勒寫的《我的奮斗》。麥卡洛可的老婆是猶太人，與瑪格麗特形同水火。有一次，瑪格麗特對維納說，麥卡洛可小組有人（可能暗指皮茨）勾引咱們寶貝女兒芭芭拉，維納大怒，隨即斷絕和麥卡洛可及其學(xué)生的所有往來。現(xiàn)在看來瑪格麗特是有意造謠，但維納的舉動對皮茨造成巨大創(chuàng)傷，皮茨本來是維納的特招學(xué)生（special student），估計他年幼時受過挫折，故秉性怪異。和維納鬧翻后，他拒絕了麻省理工學(xué)院給他的研究生學(xué)位，對學(xué)問也心灰意冷。皮茨在1969 年離世，比他的長輩麥卡洛可還早去世幾個月，享年46 歲。從皮茨的經(jīng)歷我們看出兩點：天才總是個性怪異的；不能因為他人的造謠中斷自己的事業(yè)（皮茨多活兩年能解決不少問題）。
科學(xué)是講究一點傳承的，得維納真?zhèn)鞯娜瞬欢?#xff0c;所以我們不得不提邁克爾·阿比卜（Michael Arbib）。他23 歲就在維納手下獲得了PhD，他出名是因那本科普書《大腦、機器和數(shù)學(xué)》。阿比卜后來創(chuàng)辦了麻省理工學(xué)院的計算機系，并延攬一幫人工智能人馬，其中有后來以“強化學(xué)習(xí)”出名的巴托（Andy Barto），使麻省的人工智能一直處于領(lǐng)先地位。阿比卜后來轉(zhuǎn)往南加州大學(xué)，擔(dān)任很多系的教授，他的名片要是印出來，一堆頭銜，就差“政協(xié)委員”或“人大代表”了。阿比卜到南加州后，沒出過什么有影響力的原創(chuàng)成果。在神經(jīng)網(wǎng)絡(luò)不景氣時，巴托的實驗室曾經(jīng)短期收容了很多人，其中就有后來的大佬級人物，如喬丹（Michael Jordan，不是那個籃球飛人），喬丹在伯克利時又培養(yǎng)了吳恩達（Andrew Ng） 等一干人馬。應(yīng)該是統(tǒng)計機器學(xué)習(xí)老大吧。NIPS就是他及他弟子搞的。跟著伯克利Michael I. Jordan 教授做博士，要么畢業(yè)后也大牛，要么畢業(yè)直接廢了。據(jù)說，他對學(xué)生基本放養(yǎng)，不管學(xué)生，太忙，也沒時間管。(這其實是大牛的共性)。只給學(xué)生一個非常泛的課題，剩下的自己去搞吧。但由于他學(xué)生個人能力都特強，可以自己做出突破，所以大多畢業(yè)產(chǎn)出都不錯。他一個博士在博士論文致謝中寫到“感謝喬丹在我一開始讀博就放棄了我，對我不聞不問，讓我不得不提高自己獨立思考能力，獨立科研能力”來諷刺喬丹。據(jù)小道消息：他工資是伯克利統(tǒng)計系，CS里工資最高的。
接下來講講接下來講講唐納德·赫布（Donald Olding Hebb）。
赫布是加拿大心理學(xué)家，在神經(jīng)心理學(xué)領(lǐng)域有重要貢獻，他的研究方向是神經(jīng)元在心理過程中的作用。1949 年，赫布出版了《行為組織學(xué)》（Organization of Behavior），提出了知名的“赫布理論”。赫布理論主要認為，當神經(jīng)元A 的軸突與神經(jīng)元B 很近并參與了對B 的重復(fù)持續(xù)的興奮時，這兩個神經(jīng)元或其中一個便會發(fā)生某些生長過程或代謝變化，致使A 作為能使B 興奮的細胞之一，它的效能增強了。由于對神經(jīng)元的重復(fù)刺激，使得神經(jīng)元之間的突觸強度增加。通俗地說，兩個神經(jīng)元同時被某未知事件激發(fā)，它們就有可能再次被同時擊中，而且，被同時擊中的次數(shù)越多，再次被同時擊中的概率越高。2000 年，諾貝爾醫(yī)學(xué)獎得主肯德爾（Eric Kandel）的動物實驗也證實了赫布規(guī)則。后來的各種無監(jiān)督機器學(xué)習(xí)算法或多或少都是赫布規(guī)則的變種。赫布提出的機制直到2000 年才在生物學(xué)試驗中被證實并且確認是對的！只能拜服赫布了。唐納德·赫布（Donald Olding Hebb）。赫布是加拿大心理學(xué)家，在神經(jīng)心理學(xué)領(lǐng)域有重要貢獻，他的研究方向是神經(jīng)元在心理過程中的作用。1949 年，赫布出版了《行為組織學(xué)》（Organization of Behavior），提出了知名的“赫布理論”。赫布理論主要認為，當神經(jīng)元A 的軸突與神經(jīng)元B 很近并參與了對B 的重復(fù)持續(xù)的興奮時，這兩個神經(jīng)元或其中一個便會發(fā)生某些生長過程或代謝變化，致使A 作為能使B 興奮的細胞之一，它的效能增強了。由于對神經(jīng)元的重復(fù)刺激，使得神經(jīng)元之間的突觸強度增加。通俗地說，兩個神經(jīng)元同時被某未知事件激發(fā)，它們就有可能再次被同時擊中，而且，被同時擊中的次數(shù)越多，再次被同時擊中的概率越高。2000 年，諾貝爾醫(yī)學(xué)獎得主肯德爾（Eric Kandel）的動物實驗也證實了赫布規(guī)則。后來的各種無監(jiān)督機器學(xué)習(xí)算法或多或少都是赫布規(guī)則的變種。赫布提出的機制直到2000 年才在生物學(xué)試驗中被證實并且確認是對的！只能拜服赫布了。
神經(jīng)網(wǎng)絡(luò)研究的另一個突破是在1958 年。康奈爾大學(xué)的實驗心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704 計算機上模擬實現(xiàn)了一種他發(fā)明的叫作“感知機”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型。這個模型可以完成一些簡單的視覺處理任務(wù)，這引起了轟動。他對這一個發(fā)明的潛力非常樂觀，預(yù)言說“感知器最終將能夠?qū)W習(xí)，做出決策和翻譯語言”。整個20 世紀60 年代，這一方向的研究工作都很活躍。羅森布拉特于1962 年出了一本書《神經(jīng)動力學(xué)原理：感知機和大腦機制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of BrainMechanisms），這本書總結(jié)了他的所有研究成果，一時成為“仿生學(xué)”派的圣經(jīng)。媒體對羅森布拉特也表現(xiàn)出了過度的關(guān)注。畢竟，能夠構(gòu)建一臺可以模擬大腦的機器，當然是一個頭版頭條的搶眼消息。
馬文·明斯基（Marvin Lee Minsky）是人工智能的奠基人之一，是達特茅斯會議的組織者。
1951 年，他提出了關(guān)于思維如何萌發(fā)并形成的一些基本理論，并建造了一臺學(xué)習(xí)機，名為Snare。Snare 是世界上第一個神經(jīng)網(wǎng)絡(luò)模擬器，是人工智能最早的嘗試之一。他與麥卡錫、香農(nóng)等人一起發(fā)起并組織了成為人工智能起點的“達特茅斯會議”，在這個具有歷史意義的會議上，明斯基的Snare，麥卡錫的α-β搜索法，以及西蒙和紐厄爾的“邏輯理論家”（10sicTheorist）是會議的三大亮點。1958 年，明斯基從哈佛轉(zhuǎn)至麻省理工學(xué)院，同時麥卡錫也由達特茅斯來到MIT與他會合，他們在這里共同創(chuàng)建了世界上第一個人工智能實驗室。明斯基在一次會議上和羅森布拉特大吵，他認為神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題。隨后，明斯基和麻省理工學(xué)院的另一位教授佩普特合作，企圖從理論上證明他們的觀點。他們合作的成果就是那本影響巨大、爭論無比的書《感知機》（Perceptrons）。在書中，明斯基和佩普特證明單層神經(jīng)網(wǎng)絡(luò)不能解決XOR（異或）問題。異或是一個基本邏輯問題，如果這個問題都解決不了，那神經(jīng)網(wǎng)絡(luò)的計算能力實在有限。其實羅森布拉特也已猜到“感知機”可能存在限制，特別是在符號處理方面，并以他神經(jīng)心理學(xué)家的經(jīng)驗指出，某些大腦受到傷害的人也不能處理符號。“仿生學(xué)”派的重挫其實是好事，應(yīng)了那句老話“no pain，no gain”。歷史靜悄悄地等待著神經(jīng)網(wǎng)絡(luò)學(xué)科十年后的大逆襲。由于被明斯基這樣的權(quán)威人士看衰，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的研究迅速陷入了低谷，70年代則成為了“人工智能的寒冬”。2014年加入谷歌的人工智能專家杰弗里·辛頓(Geoffrey Hinton)當時正在讀研究生，他也感受到了這樣的“惡意”。當時，當他告訴周圍人自己正在研究人工神經(jīng)網(wǎng)絡(luò)時，人們總會這樣回應(yīng)：“難道你不明白么？這些東西沒用。”
相關(guān)研究直到1978年才開始逐漸復(fù)蘇，而其中的關(guān)鍵人物則是辛頓和哈佛大學(xué)神經(jīng)生物學(xué)博士特里·謝伊諾斯基(Terry Sejnowski)。據(jù)《紐約時報》記者約翰·馬爾科夫(John Markoff)在《與機器人共舞》一書中介紹，1982年，辛頓舉辦了一場夏季研討會，主題是聯(lián)想記憶的并行模型，而與會的謝伊諾斯基當時正在探索如何通過新方式來為大腦建模。他們的理念一拍即合。隨后幾年，從并行分布處理方法起步，他們創(chuàng)造了新的多層網(wǎng)絡(luò)“玻爾茲曼網(wǎng)絡(luò)”。這項研究也證明，《感知機》一書中所做的預(yù)言，即感知機無法被推廣至多層網(wǎng)絡(luò)，是完全錯誤的。
補充下明斯基和羅森布拉特的糾葛。表面上他們倆是誰也不服誰的科學(xué)家，有點像牛頓和萊布尼茨，但他們至少從中學(xué)就互相認識，布朗克斯科學(xué)高中（Bronx）大概是全世界最好的高中，畢業(yè)生里出過8 個諾貝爾獎、6 個普利策獎和1 個圖靈獎。明斯基是1945 年的畢業(yè)生，而羅森布拉特是1946 年的畢業(yè)生，美國高中學(xué)制4 年，明斯基和羅森布拉特至少有兩年重疊，而且彼此認識，是否從那時起就互相在學(xué)術(shù)上攀比著？1956 年的達特茅斯會議定義了“人工智能”這個詞，會議的組織者包括明斯基、麥卡錫和香農(nóng)等，參會者有司馬賀、紐威爾等。這個會議在定義“人工智能”領(lǐng)域時只是提到了神經(jīng)網(wǎng)絡(luò)。那時明斯基是神經(jīng)網(wǎng)絡(luò)的支持者，但達特茅斯會議的主題并不是神經(jīng)網(wǎng)絡(luò)，而是后來被紐維爾和司馬賀稱為“物理符號系統(tǒng)”的東西。達特茅斯議，“思路模擬”派是主要基調(diào)。羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上，明斯基所負責(zé)的麻省理工學(xué)院的人工智能實驗室在向國防部和海軍申請經(jīng)費。大多數(shù)的圈內(nèi)科學(xué)家對羅森布拉特突然走紅很反感。明斯基早期也是“仿生”出身，但此時已經(jīng)改為“思路模擬”派了。由于他和佩普特對感知機的批判，倆人后來被“仿生”派稱為“魔鬼搭檔”。被稱“魔鬼”是因為《感知機》第一版有言：“羅森布拉特的論文大多沒有科學(xué)價值”。這話就有點拉大旗做虎皮的意思，但羅森布拉特人緣不好，沒有得到同行的支持也是一個原因。
1959 年，當時的另外兩位美國工程師維德羅（B.Widrow）和霍夫（M.Hoff）提出了自適應(yīng)線性元件（Adaptive linear element，簡稱Adaline）。它是感知機的變化形式，也是機器學(xué)習(xí)的鼻祖模型之一。它與感知機的主要不同之處在于，Adaline 神經(jīng)元有一個線性激活函數(shù)，這允許輸出是任意值，而不僅僅只是像感知機中那樣只能取0 或1。自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。因為同感知機的原理相似，羅森布拉特享受盛譽時，維德羅也沾了光。后期他主要從事集成電路方面的工作，沒有繼續(xù)在人工智能領(lǐng)域混下去。
感知機的暫時失敗導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究走入低谷，明斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特的個人攻擊的句子，并手寫了“紀念羅森布拉特”（In memory of Frank Rosenblatt）。美國電氣電子工程師協(xié)會（IEEE）于2004 年特別設(shè)立了羅森布拉特獎，以獎勵在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的杰出研究。世事都是輪回的，我們的老祖宗早就教導(dǎo)，得意時不要張揚，失落時不必萎頓。雖然信息科學(xué)和神經(jīng)科學(xué)的結(jié)合一度不太順利，但這并沒有影響到神經(jīng)生物學(xué)內(nèi)部。哈佛神經(jīng)生物學(xué)家大衛(wèi)·休伯爾（David Hunter Hubel）和托斯坦·威澤爾（Torsten N. Wiesel）對視覺系統(tǒng)中視覺信息處理模式進行研究，他們?yōu)榇双@得1981 年的諾貝爾醫(yī)學(xué)獎。隨后，麻省理工學(xué)院英年早逝的大衛(wèi)·考特尼·馬爾（David Courtnay Marr）將心理學(xué)、人工智能和神經(jīng)生理學(xué)的研究成果結(jié)合起來，提出了全新的關(guān)于視覺處理的理論。他被認為是計算神經(jīng)科學(xué)的創(chuàng)始人，影響了后來連接主義的運動。
1974 年，哈佛的保羅·沃波斯（Paul Werbos）寫了一篇博士論文證明了在神經(jīng)網(wǎng)絡(luò)多加一層，首次給出了如何訓(xùn)練一般網(wǎng)絡(luò)的學(xué)習(xí)算法。“反向傳播算法”（Backpropagation Algorithm，簡稱BP 算法）是一種監(jiān)督學(xué)習(xí)算法，常被用來訓(xùn)練多層感知機。他后來得到了IEEE 神經(jīng)網(wǎng)絡(luò)學(xué)會的先驅(qū)獎。沃波斯這篇文章剛發(fā)表時并沒引起多少重視，只因那時正是神經(jīng)網(wǎng)絡(luò)研究的低谷，文章不合時宜。
神經(jīng)網(wǎng)絡(luò)在20世紀80 年代開始復(fù)興，除了時運之外，應(yīng)該部分歸功于物理學(xué)家霍普菲爾德（J. J. Hopfield）。1982 年，那時在加州理工擔(dān)任生物物理教授的霍普菲爾德，提出了一種新的神經(jīng)網(wǎng)絡(luò)——霍普菲爾德神經(jīng)網(wǎng)絡(luò)。霍普菲爾德神經(jīng)網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)，是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)。它首次引入能量函數(shù)的概念，使神經(jīng)網(wǎng)絡(luò)的平衡穩(wěn)定狀態(tài)有了明確的判據(jù)方法，保證了向局部極小的收斂，但收斂到錯誤的局部極小值（Local Minimum），而非全局極小值（Global Minimum）的情況也可能發(fā)生。霍普菲爾德神經(jīng)網(wǎng)絡(luò)僅對人工神經(jīng)網(wǎng)絡(luò)的信息存儲和提取功能進行了非線性數(shù)學(xué)概括，提出了動力方程和學(xué)習(xí)方程，還對網(wǎng)絡(luò)算法提供了重要公式和參數(shù)，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)。1984 年，霍普菲爾德用模擬集成電路實現(xiàn)了自己提出的模型。大量學(xué)者又被激發(fā)起研究神經(jīng)網(wǎng)絡(luò)的熱情，積極投身于這一領(lǐng)域。
1986 年，魯姆哈特（David Rumelhart）和麥克萊蘭（McCelland）等幾名學(xué)者提出的BP 神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展史上的里程碑。魯姆哈特于1963 年獲得南達科塔州大學(xué)心理學(xué)和數(shù)學(xué)的學(xué)士學(xué)位，之后，于1967 年在斯坦福獲得數(shù)學(xué)模式的心理學(xué)博士學(xué)位。1967 年至1987 年，在加州大學(xué)圣迭戈的心理學(xué)部門工作，1987 回到斯坦福，獲得教授頭銜，直到1998 年退休。魯姆哈特等學(xué)者完整地提出了BP 算法，系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱單元連接權(quán)的學(xué)習(xí)問題，并在數(shù)學(xué)上給出了完整的推導(dǎo)。
神經(jīng)網(wǎng)絡(luò)在20 世紀80 年代的光芒被后來的互聯(lián)網(wǎng)掩蓋了，但這幾年又恰恰是互聯(lián)網(wǎng)給了神經(jīng)網(wǎng)絡(luò)更大的機會。這幾年，計算機科學(xué)最火的詞兒就是“深度學(xué)習(xí)”。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成，層數(shù)越多就越深，所謂深度學(xué)習(xí)就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達到機器學(xué)習(xí)的功能。杰弗里·辛頓（Geoffrey Hinton）是反向傳播算法和對比散度算法的發(fā)明人之一，也是深度學(xué)習(xí)的積極推動者，2006年他的一篇文章開辟了這個新領(lǐng)域。經(jīng)過他改進的算法能夠?qū)ζ邔踊蚋鄬拥纳疃壬窠?jīng)網(wǎng)絡(luò)進行訓(xùn)練，這讓計算機可以漸進地進行學(xué)習(xí)。隨著層次的增加，學(xué)習(xí)的精確性得到提升，同時該技術(shù)還極大地推動了非監(jiān)督學(xué)習(xí)的發(fā)展，讓機器具備“自學(xué)”的能力。辛頓于1970 年在英國劍橋大學(xué)獲得文學(xué)學(xué)士學(xué)位，主修實驗心理學(xué)。此后于1978 年在愛丁堡大學(xué)獲得哲學(xué)博士學(xué)位，主修人工智能。此后他曾在薩塞克斯大學(xué)、加州大學(xué)圣迭戈分校、劍橋大學(xué)、卡內(nèi)基梅隆大學(xué)和倫敦大學(xué)學(xué)院工作。他是蓋茨比計算神經(jīng)科學(xué)中心的創(chuàng)始人，目前擔(dān)任多倫多大學(xué)計算機科學(xué)系教授。辛頓是機器學(xué)習(xí)領(lǐng)域的加拿大首席學(xué)者，也是加拿大高等研究院贊助的“神經(jīng)計算和自適應(yīng)感知”項目的領(lǐng)導(dǎo)者。辛頓和魯斯蘭·薩拉赫丁諾夫（RuslanSalakhutdinov）提出了一種在前饋神經(jīng)網(wǎng)絡(luò)中進行有效訓(xùn)練的算法。這一算法將網(wǎng)絡(luò)中的每一層視為無監(jiān)督的受限玻爾茲曼機，再使用有監(jiān)督的反向傳播算法進行調(diào)優(yōu)。他對神經(jīng)網(wǎng)絡(luò)的其他貢獻包括分散表示（Distributed Representation）、時延神經(jīng)網(wǎng)絡(luò)、專家混合系統(tǒng)（Mixtures of Experts）、亥姆霍茲機（HelmholtzMachines）等。年過六旬的辛頓不甘寂寞，在2013 年3 月加入谷歌，同時谷歌并購了他創(chuàng)辦的DNNresearch 公司。
2012 年，斯坦福大學(xué)人工智能實驗室主任吳恩達和谷歌合作建造了一個當時最大的神經(jīng)網(wǎng)絡(luò)，這是谷歌神秘的X實驗室的一個計劃。這個世界上，第一個能夠讓機器識別“貓”的人就是他。吳恩達領(lǐng)導(dǎo)谷歌科學(xué)家，用16000 臺計算機搭建模擬了一個人腦神經(jīng)網(wǎng)絡(luò)，并向這個網(wǎng)絡(luò)展示了1000萬段從YouTube 上隨機選取的視頻。結(jié)果，這個系統(tǒng)在沒有外界干涉的條件下，自己認識到“貓”是一種怎樣的動物，并成功找到了貓的照片，識別率為81.7%，成為“深度學(xué)習(xí)”領(lǐng)域的經(jīng)典案例。
吳恩達于2014 年加入百度，成為百度首席科學(xué)家，全面負責(zé)百度研究院，參與“百度大腦”計劃。“百度大腦”融合了深度學(xué)習(xí)算法、數(shù)據(jù)建模、大規(guī)模GPU 并行化平臺等技術(shù)，模擬神經(jīng)元參數(shù)超過200 億個。雖然這注定是個勞民傷財?shù)捻椖?#xff0c;但想想當年的阿波羅計劃，馮·布勞恩為了少年時期的夢想，先后鼓動兩個國家傾舉國之力支持其航天夢想，耗時十余年在美國打下了硅谷的基礎(chǔ)，間接成就了今天的世界。正是因為不斷有人追尋自身的夢想，并為之傾注畢生精力，人類才不斷超越自己，不是嗎？
LeCun、Bengio和Hinton在深度學(xué)習(xí)領(lǐng)域的地位無人不知。Hinton被譽為“神經(jīng)網(wǎng)絡(luò)之父”，其歷史地位無人能及。LeCun推動和發(fā)展了當前最有用的神經(jīng)網(wǎng)絡(luò)模型——卷積神經(jīng)網(wǎng)絡(luò)。Bengio開創(chuàng)了神經(jīng)網(wǎng)絡(luò)做語言模型的先河，并帶領(lǐng)團隊貢獻了大名鼎鼎的Theano。
近年，三位人工智能巨頭，成為了各大科研機構(gòu)及公司爭奪的焦點。Hinton的初創(chuàng)公司被Google收購，加入Google大腦項目。LeCun是紐約大學(xué)終身教授，而扎克伯格更是親任他為Facebook人工智能實驗室負責(zé)人。Google蒙特利爾設(shè)立人工智能(AI)研究部門,并為Bengio等人提供337萬美元的資金。三位牛人可謂是風(fēng)光無限，可是誰能想到，在過去很長一段時間里，三人一直處于窘迫和嘲笑之中。
之所以有“三巨頭”說法，一個重要原因是他們?nèi)嗽谏窠?jīng)網(wǎng)絡(luò)不被看好的年頭還一直堅持研究神經(jīng)網(wǎng)絡(luò)，達了學(xué)術(shù)品位和信仰的境界。上世紀 60 年代，人工智能處于理論階段，遠未開始實踐，神經(jīng)網(wǎng)絡(luò)的想法并不受待見，甚至受到學(xué)界同行的嘲笑。80 年代，Hinton 參與用計算機模擬大腦的研究，這也便是如今所說的深度學(xué)習(xí)。然而，學(xué)術(shù)期刊曾經(jīng)因為不認可神經(jīng)網(wǎng)絡(luò)這一理念而頻頻拒收其論文。就算到了2004，學(xué)術(shù)界對他們的研究仍未提起興趣。
LeCun作為Hinton的學(xué)生，帶著夢想和執(zhí)著和他的導(dǎo)師一起堅持下來。Hinton曾評價說:“是LeCun高舉著火炬,沖過了最黑暗的時代。”可想而知，當時無論是資金支持還是學(xué)界態(tài)度，都非常不利，甚至到了黑暗的程度。而Bengio大神直到現(xiàn)在仍然全身心投在學(xué)術(shù)界教書。
30多年的堅持，對多數(shù)人來說，意味著一生精力和心血。設(shè)想一下，如果不是深度學(xué)習(xí)在人工智能領(lǐng)域取得了巨大成功，他們也許要坐一輩子的冷板凳。在驚嘆其的成就的同時，更應(yīng)該欽佩他們曾經(jīng)在困境中的堅持，同時也應(yīng)該向那些默默耕耘，但尚未取得成功的科研工作者致敬。正式他們的堅持和探索，才讓今天一個個奇跡成為現(xiàn)實。
此文引用多位博主的博文，多處均為引用，后期會詳細添加引用地址。
引用地址：http://book.51cto.com/art/201606/513119.htm
http://blog.csdn.net/qq_26898461/article/details/48518249
總結(jié)
- 上一篇： 诺基亚称霸时代终结 Ovi商店面临命运抉
- 下一篇： oracle qmon,10g QMON