作為機器學(xué)習(xí)最重要的一個分支，深度學(xué)習(xí)近年來發(fā)展迅猛，在國內(nèi)外都引起了廣泛的關(guān)注。然而深度學(xué)習(xí)的火熱也不是一時興起的，而是經(jīng)歷了一段漫長的發(fā)展史。接下來我們了解一下深度學(xué)習(xí)的發(fā)展歷程。

1. 深度學(xué)習(xí)的起源階段

?

圖1?“AI之父”馬文·明斯基

1943年，心里學(xué)家麥卡洛克和數(shù)學(xué)邏輯學(xué)家皮茲發(fā)表論文《神經(jīng)活動中內(nèi)在思想的邏輯演算》，提出了MP模型。MP模型是模仿神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)成出的一個基于神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，本質(zhì)上是一種“模擬人類大腦”的神經(jīng)元模型。MP模型作為人工神經(jīng)網(wǎng)絡(luò)的起源，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的新時代，也奠定了神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

1949年，加拿大著名心理學(xué)家唐納德·赫布在《行為的組織》中提出了一種基于無監(jiān)督學(xué)習(xí)的規(guī)則——海布學(xué)習(xí)規(guī)則(Hebb Rule)。海布規(guī)則模仿人類認知世界的過程建立一種“網(wǎng)絡(luò)模型”，該網(wǎng)絡(luò)模型針對訓(xùn)練集進行大量的訓(xùn)練并提取訓(xùn)練集的統(tǒng)計特征，然后按照樣本的相似程度進行分類，把相互之間聯(lián)系密切的樣本分為一類，這樣就把樣本分成了若干類。海布學(xué)習(xí)規(guī)則與“條件反射”機理一致，為以后的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法奠定了基礎(chǔ)，具有重大的歷史意義。

20世紀50年代末，在MP模型和海布學(xué)習(xí)規(guī)則的研究基礎(chǔ)上，美國科學(xué)家羅森布拉特發(fā)現(xiàn)了一種類似于人類學(xué)習(xí)過程的學(xué)習(xí)算法——感知機學(xué)習(xí)。并于1958年，正式提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知器”。感知器本質(zhì)上是一種線性模型，可以對輸入的訓(xùn)練集數(shù)據(jù)進行二分類，且能夠在訓(xùn)練集中自動更新權(quán)值。感知器的提出吸引了大量科學(xué)家對人工神經(jīng)網(wǎng)絡(luò)研究的興趣，對神經(jīng)網(wǎng)絡(luò)的發(fā)展具有里程碑式的意義。

但隨著研究的深入，在1969年，“AI之父”馬文·明斯基和LOGO語言的創(chuàng)始人西蒙·派珀特共同編寫了一本書籍《感知器》，在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）。由于這個致命的缺陷以及沒有及時推廣感知器到多層神經(jīng)網(wǎng)絡(luò)中，在20世紀70年代，人工神經(jīng)網(wǎng)絡(luò)進入了第一個寒冬期，人們對神經(jīng)網(wǎng)絡(luò)的研究也停滯了將近20年。

2. 深度學(xué)習(xí)的發(fā)展階段

?

圖2?深度學(xué)習(xí)之父杰弗里·辛頓

1982年，著名物理學(xué)家約翰·霍普菲爾德發(fā)明了Hopfield神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)也可以模擬人類的記憶，根據(jù)激活函數(shù)的選取不同，有連續(xù)型和離散型兩種類型，分別用于優(yōu)化計算和聯(lián)想記憶。但由于容易陷入局部最小值的缺陷，該算法并未在當(dāng)時引起很大的轟動。

直到1986年，深度學(xué)習(xí)之父杰弗里·辛頓提出了一種適用于多層感知器的反向傳播算法——BP算法。BP算法在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)正向傳播的基礎(chǔ)上，增加了誤差的反向傳播過程。反向傳播過程不斷地調(diào)整神經(jīng)元之間的權(quán)值和閾值，直到輸出的誤差達到減小到允許的范圍之內(nèi)，或達到預(yù)先設(shè)定的訓(xùn)練次數(shù)為止。BP算法完美的解決了非線性分類問題，讓人工神經(jīng)網(wǎng)絡(luò)再次的引起了人們廣泛的關(guān)注。

圖2 深度學(xué)習(xí)之父杰弗里·辛頓
但是由于八十年代計算機的硬件水平有限，如：運算能力跟不上，這就導(dǎo)致當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模增大時，再使用BP算法會出現(xiàn)“梯度消失”的問題。這使得BP算法的發(fā)展受到了很大的限制。再加上90年代中期，以SVM為代表的其它淺層機器學(xué)習(xí)算法被提出，并在分類、回歸問題上均取得了很好的效果，其原理又明顯不同于神經(jīng)網(wǎng)絡(luò)模型，所以人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再次進入了瓶頸期。

3. 深度學(xué)習(xí)的爆發(fā)階段

?

圖3?AlphaGo大戰(zhàn)李世石

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念。他們在世界頂級學(xué)術(shù)期刊《科學(xué)》發(fā)表的一篇文章中詳細的給出了“梯度消失”問題的解決方案——通過無監(jiān)督的學(xué)習(xí)方法逐層訓(xùn)練算法，再使用有監(jiān)督的反向傳播算法進行調(diào)優(yōu)。該深度學(xué)習(xí)方法的提出，立即在學(xué)術(shù)圈引起了巨大的反響，以斯坦福大學(xué)、多倫多大學(xué)為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學(xué)習(xí)領(lǐng)域的相關(guān)研究。而后又在迅速蔓延到工業(yè)界中。

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念。他們在世界頂級學(xué)術(shù)期刊《科學(xué)》發(fā)表的一篇文章中詳細的給出了“梯度消失”問題的解決方案——通過無監(jiān)督的學(xué)習(xí)方法逐層訓(xùn)練算法，再使用有監(jiān)督的反向傳播算法進行調(diào)優(yōu)。該深度學(xué)習(xí)方法的提出，立即在學(xué)術(shù)圈引起了巨大的反響，以斯坦福大學(xué)、多倫多大學(xué)為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學(xué)習(xí)領(lǐng)域的相關(guān)研究。而后又在迅速蔓延到工業(yè)界中。

2012年，在著名的ImageNet圖像識別大賽中，杰弗里·辛頓領(lǐng)導(dǎo)的小組采用深度學(xué)習(xí)模型AlexNet一舉奪冠。AlexNet采用ReLU激活函數(shù)，從根本上解決了梯度消失問題，并采用GPU極大的提高了模型的運算速度。同年，由斯坦福大學(xué)著名的吳恩達教授和世界頂尖計算機專家Jeff Dean共同主導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)——DNN技術(shù)在圖像識別領(lǐng)域取得了驚人的成績，在ImageNet評測中成功的把錯誤率從26％降低到了15％。深度學(xué)習(xí)算法在世界大賽的脫穎而出，也再一次吸引了學(xué)術(shù)界和工業(yè)界對于深度學(xué)習(xí)領(lǐng)域的關(guān)注。

隨著深度學(xué)習(xí)技術(shù)的不斷進步以及數(shù)據(jù)處理能力的不斷提升，2014年，Facebook基于深度學(xué)習(xí)技術(shù)的DeepFace項目，在人臉識別方面的準確率已經(jīng)能達到97%以上，跟人類識別的準確率幾乎沒有差別。這樣的結(jié)果也再一次證明了深度學(xué)習(xí)算法在圖像識別方面的一騎絕塵。

2016年，隨著谷歌公司基于深度學(xué)習(xí)開發(fā)的AlphaGo以4:1的比分戰(zhàn)勝了國際頂尖圍棋高手李世石，深度學(xué)習(xí)的熱度一時無兩。后來，AlphaGo又接連和眾多世界級圍棋高手過招，均取得了完勝。這也證明了在圍棋界，基于深度學(xué)習(xí)技術(shù)的機器人已經(jīng)超越了人類。

2017年，基于強化學(xué)習(xí)算法的AlphaGo升級版AlphaGo Zero橫空出世。其采用“從零開始”、“無師自通”的學(xué)習(xí)模式，以100:0的比分輕而易舉打敗了之前的AlphaGo。除了圍棋，它還精通國際象棋等其它棋類游戲，可以說是真正的棋類“天才”。此外在這一年，深度學(xué)習(xí)的相關(guān)算法在醫(yī)療、金融、藝術(shù)、無人駕駛等多個領(lǐng)域均取得了顯著的成果。所以，也有專家把2017年看作是深度學(xué)習(xí)甚至是人工智能發(fā)展最為突飛猛進的一年。

所以在深度學(xué)習(xí)的浪潮之下，不管是AI的相關(guān)從業(yè)者還是其他各行各業(yè)的工作者，都應(yīng)該以開放、學(xué)習(xí)的心態(tài)關(guān)注深度學(xué)習(xí)、人工智能的熱點動態(tài)。人工智能正在悄無聲息的改變著我們的生活！

機器學(xué)習(xí)集訓(xùn)營 第四期 北上廣深杭

機器學(xué)習(xí)集訓(xùn)營 第四期 北上廣深杭 報名咨詢 可以獲得額外的優(yōu)惠

http://www.buluo360.com/2018/03/12/machine-learning-capus-shenzhen/

轉(zhuǎn)載于:https://www.cnblogs.com/tensorflownews/p/8552106.html

總結(jié)

以上是生活随笔為你收集整理的梳理百年深度学习发展史-七月在线机器学习集训营助你把握深度学习浪潮的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。