機(jī)器學(xué)習(xí)

計(jì)算機(jī)利用已有的數(shù)據(jù)，得出了某種模型，并利用此模型預(yù)測(cè)未來的一種方法。它是人工智能領(lǐng)域的一個(gè)小分支，如果說AI是一個(gè)合集，那么ML就是AI的子集。任何通過數(shù)據(jù)訓(xùn)練的學(xué)習(xí)算法的相關(guān)研究都屬于機(jī)器學(xué)習(xí)，包括很多已經(jīng)發(fā)展多年的技術(shù)，比如線性回歸（Linear Regression）、logistic回歸、K均值（K-means，基于原型的目標(biāo)函數(shù)聚類方法）、決策樹（Decision Trees，運(yùn)用概率分析的一種圖解法）、隨機(jī)森林（Random Forest，運(yùn)用概率分析的一種圖解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量機(jī)）以及ANN（Artificial Neural Networks，人工神經(jīng)網(wǎng)絡(luò)）。而人工神經(jīng)網(wǎng)絡(luò)則是深度學(xué)習(xí)的起源。
○ 監(jiān)督學(xué)習(xí)：回歸和分類
○ 無監(jiān)督學(xué)習(xí)：聚類
○ 半監(jiān)督學(xué)習(xí)
○ 遷移學(xué)習(xí)
○ 增強(qiáng)學(xué)習(xí)

深度學(xué)習(xí)

是機(jī)器學(xué)習(xí)里面現(xiàn)在比較火的一個(gè)topic，本身是神經(jīng)網(wǎng)絡(luò)算法的衍生，在圖像識(shí)別，語音識(shí)別、自然語言處理（NLP）等富媒體的分類和識(shí)別上取得了非常好的效果，成功的主要原因是大量可用的數(shù)據(jù)以及像GPU這樣更強(qiáng)大的計(jì)算引擎的出現(xiàn)。下圖是深度學(xué)習(xí)的一個(gè)簡要發(fā)展史

第一代神經(jīng)網(wǎng)絡(luò)（1958-1969)

○ 1958年Rosenblatt發(fā)明的感知算法可對(duì)輸入的多維數(shù)據(jù)進(jìn)行二分類，且能夠使用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)更新權(quán)值。
○ 1962年，該方法被證明為能夠收斂，它的理論與實(shí)踐效果引發(fā)了第一次神經(jīng)網(wǎng)絡(luò)的浪潮；
○ 1969年，美國數(shù)學(xué)家及AI先驅(qū)Minsky在著作中證明感知器本質(zhì)上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR問題都無法正確分類。這等于直接宣判了感知器的死弄，神經(jīng)網(wǎng)絡(luò)的研究也陷入了近20年的停滯。

第二代神經(jīng)網(wǎng)絡(luò)（1986-1998）

○ 1986年Hiton發(fā)明的MLP的BP算法，并采用Sigmoid進(jìn)行非線性映射，有效解決了非線性公類和學(xué)習(xí)的問題。該方法引發(fā)了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。
○ 1989年，Robert Hecht-Nielsen證明了MLP的萬能逼近定理，即對(duì)于任何閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)f，都可以用含有一個(gè)隱含層的BP網(wǎng)絡(luò)來逼近。
○ 1989年，LeCun發(fā)明了CNN–LeNet，并將其用于數(shù)字識(shí)別，且取得了較好的成績，不過當(dāng)時(shí)并沒有引起足夠的注意。
○ 1989年以后由于沒有提出特別突出的方法，且神經(jīng)網(wǎng)絡(luò)一直缺少相應(yīng)的嚴(yán)格數(shù)學(xué)理論支持，神經(jīng)網(wǎng)絡(luò)的熱潮漸漸冷淡下去。冰點(diǎn)發(fā)生在1991年，BP算法被指出存在梯度消失問題，由于Sigmoid函數(shù)的飽和特性，后層梯度本來就小，誤差梯度傳到前層時(shí)幾乎為0。
○1997年，LSTM模型被發(fā)明，盡管該模型在序列建模上表現(xiàn)出的特性非常突出，但由于處于神經(jīng)網(wǎng)絡(luò)的下坡期，也沒有引起足夠的重視。

統(tǒng)計(jì)學(xué)習(xí)方法的春天（1986-2006）

○ 1986年，決策方法被提出，很快ID3、ID4、CART等改進(jìn)的決策樹方法相繼出現(xiàn)，這些方法也是符號(hào)學(xué)習(xí)方法的代表。正是由于這些方法的出現(xiàn)，使得統(tǒng)計(jì)學(xué)習(xí)開始進(jìn)入人們的視野，迎來統(tǒng)計(jì)學(xué)習(xí)方法的春天。
○ 1995年，統(tǒng)計(jì)學(xué)家Vapnik提出線性SVM。由于它有非常完美的數(shù)學(xué)理論推導(dǎo)做支撐（統(tǒng)計(jì)學(xué)與凸優(yōu)化等），并且非常符合人的直觀感受（最大間隔），更重要的是它在線性分類的問題上取得了當(dāng)時(shí)最好的成績，這使得神經(jīng)網(wǎng)絡(luò)更陷入無人問津的境地。
○ 1997年，AdaBoost被提出，該方法是PAC理論在機(jī)器學(xué)習(xí)實(shí)踐上的代表，也催生了集成學(xué)習(xí)這一類方法的誕生，在回歸和分類任務(wù)上取得了非常好的效果。該方法通過一系列的弱分類器集成，達(dá)到強(qiáng)分類器的效果。
○ 2000年，Kernel SVM被提出，核化的SVM通過一種巧妙的方法將原空間線性不可分的問題，通過Kernel映射成高維空間的線性可分的問題，成功解決了非線性分類的問題，且分類效果非常好。至此也更加終結(jié)了神經(jīng)網(wǎng)絡(luò)時(shí)代。
○ 2001年，隨機(jī)森林被提出，這是集成方法的另一個(gè)代表，該方法比AdaBoost能更好地抑制過擬合問題。
○ 2001年，一種新的統(tǒng)一框架—-圖模型被提出，該方法試圖統(tǒng)一機(jī)器 學(xué)習(xí)混的方法，如樸素貝葉斯、SVM、隱馬爾可夫模型等，為各種學(xué)習(xí)方法提供一個(gè)統(tǒng)一的描述框架

第三代神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)（2006-至今）

快速發(fā)展期（2006-2012）

○ 2006年，深度學(xué)習(xí)元年。Hiton提出了深層網(wǎng)絡(luò)訓(xùn)練中梯度消失問題的解決方案：“無監(jiān)督訓(xùn)練對(duì)權(quán)值進(jìn)行初始化+有監(jiān)督訓(xùn)練微調(diào)”。其主要思想是先通過自學(xué)習(xí)的方法學(xué)習(xí)到訓(xùn)練數(shù)據(jù)的結(jié)構(gòu)，然后在該結(jié)構(gòu)上進(jìn)行有監(jiān)督訓(xùn)練微調(diào)。
○ 2011年，ReLU激活函數(shù)被提出，有效抑制梯度消失的問題。
○ 2011年，微軟首次將深度學(xué)習(xí)應(yīng)用在語音識(shí)別上，取得了重大突破。

爆發(fā)期（2012-至今）

○2012年，Hiton課題組首次參加ImageNet圖像識(shí)別比賽，AlexNet奪得冠軍，并碾壓了第二名（SVM）的分類性能。
○ ….

深度學(xué)習(xí)三巨頭（閑談）

○ 論資排輩：Hinton>leCun>Bengio
○ hinton經(jīng)典工作堆成山，門下徒子徒孫遍地，lecun是hinton的postdoc，當(dāng)年micheal jordan想去hinton門下讀postdoc都被婉拒，而bengio又是jordan的postdoc。
○ 雖說lecun（LeNet5）不是cnn的發(fā)明人，但是他是第一個(gè)把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推動(dòng)者。

總結(jié)

以上是生活随笔為你收集整理的深度学习发展历程（2012年以前）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。