機器學習

計算機利用已有的數據，得出了某種模型，并利用此模型預測未來的一種方法。它是人工智能領域的一個小分支，如果說AI是一個合集，那么ML就是AI的子集。任何通過數據訓練的學習算法的相關研究都屬于機器學習，包括很多已經發展多年的技術，比如線性回歸（Linear Regression）、logistic回歸、K均值（K-means，基于原型的目標函數聚類方法）、決策樹（Decision Trees，運用概率分析的一種圖解法）、隨機森林（Random Forest，運用概率分析的一種圖解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量機）以及ANN（Artificial Neural Networks，人工神經網絡）。而人工神經網絡則是深度學習的起源。
○ 監督學習：回歸和分類
○ 無監督學習：聚類
○ 半監督學習
○ 遷移學習
○ 增強學習

深度學習

是機器學習里面現在比較火的一個topic，本身是神經網絡算法的衍生，在圖像識別，語音識別、自然語言處理（NLP）等富媒體的分類和識別上取得了非常好的效果，成功的主要原因是大量可用的數據以及像GPU這樣更強大的計算引擎的出現。下圖是深度學習的一個簡要發展史

第一代神經網絡（1958-1969)

○ 1958年Rosenblatt發明的感知算法可對輸入的多維數據進行二分類，且能夠使用梯度下降法從訓練樣本中自動學習更新權值。
○ 1962年，該方法被證明為能夠收斂，它的理論與實踐效果引發了第一次神經網絡的浪潮；
○ 1969年，美國數學家及AI先驅Minsky在著作中證明感知器本質上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR問題都無法正確分類。這等于直接宣判了感知器的死弄，神經網絡的研究也陷入了近20年的停滯。

第二代神經網絡（1986-1998）

○ 1986年Hiton發明的MLP的BP算法，并采用Sigmoid進行非線性映射，有效解決了非線性公類和學習的問題。該方法引發了神經網絡的第二次熱潮。
○ 1989年，Robert Hecht-Nielsen證明了MLP的萬能逼近定理，即對于任何閉區間內的一個連續函數f，都可以用含有一個隱含層的BP網絡來逼近。
○ 1989年，LeCun發明了CNN–LeNet，并將其用于數字識別，且取得了較好的成績，不過當時并沒有引起足夠的注意。
○ 1989年以后由于沒有提出特別突出的方法，且神經網絡一直缺少相應的嚴格數學理論支持，神經網絡的熱潮漸漸冷淡下去。冰點發生在1991年，BP算法被指出存在梯度消失問題，由于Sigmoid函數的飽和特性，后層梯度本來就小，誤差梯度傳到前層時幾乎為0。
○1997年，LSTM模型被發明，盡管該模型在序列建模上表現出的特性非常突出，但由于處于神經網絡的下坡期，也沒有引起足夠的重視。

統計學習方法的春天（1986-2006）

○ 1986年，決策方法被提出，很快ID3、ID4、CART等改進的決策樹方法相繼出現，這些方法也是符號學習方法的代表。正是由于這些方法的出現，使得統計學習開始進入人們的視野，迎來統計學習方法的春天。
○ 1995年，統計學家Vapnik提出線性SVM。由于它有非常完美的數學理論推導做支撐（統計學與凸優化等），并且非常符合人的直觀感受（最大間隔），更重要的是它在線性分類的問題上取得了當時最好的成績，這使得神經網絡更陷入無人問津的境地。
○ 1997年，AdaBoost被提出，該方法是PAC理論在機器學習實踐上的代表，也催生了集成學習這一類方法的誕生，在回歸和分類任務上取得了非常好的效果。該方法通過一系列的弱分類器集成，達到強分類器的效果。
○ 2000年，Kernel SVM被提出，核化的SVM通過一種巧妙的方法將原空間線性不可分的問題，通過Kernel映射成高維空間的線性可分的問題，成功解決了非線性分類的問題，且分類效果非常好。至此也更加終結了神經網絡時代。
○ 2001年，隨機森林被提出，這是集成方法的另一個代表，該方法比AdaBoost能更好地抑制過擬合問題。
○ 2001年，一種新的統一框架—-圖模型被提出，該方法試圖統一機器 學習混的方法，如樸素貝葉斯、SVM、隱馬爾可夫模型等，為各種學習方法提供一個統一的描述框架

第三代神經網絡深度學習（2006-至今）

快速發展期（2006-2012）

○ 2006年，深度學習元年。Hiton提出了深層網絡訓練中梯度消失問題的解決方案：“無監督訓練對權值進行初始化+有監督訓練微調”。其主要思想是先通過自學習的方法學習到訓練數據的結構，然后在該結構上進行有監督訓練微調。
○ 2011年，ReLU激活函數被提出，有效抑制梯度消失的問題。
○ 2011年，微軟首次將深度學習應用在語音識別上，取得了重大突破。

爆發期（2012-至今）

○2012年，Hiton課題組首次參加ImageNet圖像識別比賽，AlexNet奪得冠軍，并碾壓了第二名（SVM）的分類性能。
○ ….

深度學習三巨頭（閑談）

○ 論資排輩：Hinton>leCun>Bengio
○ hinton經典工作堆成山，門下徒子徒孫遍地，lecun是hinton的postdoc，當年micheal jordan想去hinton門下讀postdoc都被婉拒，而bengio又是jordan的postdoc。
○ 雖說lecun（LeNet5）不是cnn的發明人，但是他是第一個把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推動者。

總結

以上是生活随笔為你收集整理的深度学习发展历程（2012年以前）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。