聲明：

1）該Deep Learning的學(xué)習(xí)系列是整理自網(wǎng)上很大牛和機(jī)器學(xué)習(xí)專家所無私奉獻(xiàn)的資料的。具體引用的資料請看參考文獻(xiàn)。具體的版本聲明也參考原文獻(xiàn)。

2）本文僅供學(xué)術(shù)交流，非商用。所以每一部分具體的參考資料并沒有詳細(xì)對應(yīng)。如果某部分不小心侵犯了大家的利益，還望海涵，并聯(lián)系博主刪除。

3）本人才疏學(xué)淺，整理總結(jié)的時候難免出錯，還望各位前輩不吝指正，謝謝。

4）閱讀本文需要機(jī)器學(xué)習(xí)、計算機(jī)視覺、神經(jīng)網(wǎng)絡(luò)等等基礎(chǔ)（如果沒有也沒關(guān)系了，沒有就看看，能不能看懂，呵呵）。

5）此屬于第一版本，若有錯誤，還需繼續(xù)修正與增刪。還望大家多多指點(diǎn)。大家都共享一點(diǎn)點(diǎn)，一起為祖國科研的推進(jìn)添磚加瓦（呵呵，好高尚的目標(biāo)啊）。

?

目錄：

一、概述

二、背景

三、人腦視覺機(jī)理

四、關(guān)于特征

?????? 4.1、特征表示的粒度

?????? 4.2、初級（淺層）特征表示

???????4.3、結(jié)構(gòu)性特征表示

?????? 4.4、需要有多少個特征？

五、Deep Learning的基本思想

六、淺層學(xué)習(xí)（Shallow Learning）和深度學(xué)習(xí)（Deep Learning）

七、Deep learning與Neural Network

八、Deep learning訓(xùn)練過程

?????? 8.1、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

?????? 8.2、deep learning訓(xùn)練過程

九、Deep Learning的常用模型或者方法

?????? 9.1、AutoEncoder自動編碼器

?????? 9.2、Sparse Coding稀疏編碼

?????? 9.3、Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)

?????? 9.4、Deep BeliefNetworks深信度網(wǎng)絡(luò)

?????? 9.5、Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò)

十、總結(jié)與展望

十一、參考文獻(xiàn)和Deep Learning學(xué)習(xí)資源

?

一、概述

?????? Artificial Intelligence，也就是人工智能，就像長生不老和星際漫游一樣，是人類最美好的夢想之一。雖然計算機(jī)技術(shù)已經(jīng)取得了長足的進(jìn)步，但是到目前為止，還沒有一臺電腦能產(chǎn)生“自我”的意識。是的，在人類和大量現(xiàn)成數(shù)據(jù)的幫助下，電腦可以表現(xiàn)的十分強(qiáng)大，但是離開了這兩者，它甚至都不能分辨一個喵星人和一個汪星人。

?????? 圖靈（圖靈，大家都知道吧。計算機(jī)和人工智能的鼻祖，分別對應(yīng)于其著名的“圖靈機(jī)”和“圖靈測試”）在 1950 年的論文里，提出圖靈試驗的設(shè)想，即，隔墻對話，你將不知道與你談話的，是人還是電腦。這無疑給計算機(jī)，尤其是人工智能，預(yù)設(shè)了一個很高的期望值。但是半個世紀(jì)過去了，人工智能的進(jìn)展，遠(yuǎn)遠(yuǎn)沒有達(dá)到圖靈試驗的標(biāo)準(zhǔn)。這不僅讓多年翹首以待的人們，心灰意冷，認(rèn)為人工智能是忽悠，相關(guān)領(lǐng)域是“偽科學(xué)”。

??????? 但是自 2006 年以來，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。圖靈試驗，至少不是那么可望而不可及了。至于技術(shù)手段，不僅僅依賴于云計算對大數(shù)據(jù)的并行處理能力，而且依賴于算法。這個算法就是，Deep Learning。借助于 Deep Learning 算法，人類終于找到了如何處理“抽象概念”這個亙古難題的方法。

?

?????? 2012年6月，《紐約時報》披露了Google Brain項目，吸引了公眾的廣泛關(guān)注。這個項目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授Andrew Ng和在大規(guī)模計算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean共同主導(dǎo)，用16000個CPU Core的并行計算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，Deep Neural Networks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個節(jié)點(diǎn)。這一網(wǎng)絡(luò)自然是不能跟人類的神經(jīng)網(wǎng)絡(luò)相提并論的。要知道，人腦中可是有150多億個神經(jīng)元，互相連接的節(jié)點(diǎn)也就是突觸數(shù)更是如銀河沙數(shù)。曾經(jīng)有人估算過，如果將一個人的大腦中所有神經(jīng)細(xì)胞的軸突和樹突依次連接起來，并拉成一根直線，可從地球連到月亮，再從月亮返回地球），在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。

?????? 項目負(fù)責(zé)人之一Andrew稱：“我們沒有像通常做的那樣自己框定邊界，而是直接把海量數(shù)據(jù)投放到算法中，讓數(shù)據(jù)自己說話，系統(tǒng)會自動從數(shù)據(jù)中學(xué)習(xí)。”另外一名負(fù)責(zé)人Jeff則說：“我們在訓(xùn)練的時候從來不會告訴機(jī)器說：‘這是一只貓。’系統(tǒng)其實是自己發(fā)明或者領(lǐng)悟了“貓”的概念。”

??

?????? 2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機(jī)一氣呵成自動完成語音識別、英中機(jī)器翻譯和中文語音合成，效果非常流暢。據(jù)報道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，DeepLearning）。

?????? 2013年1月，在百度年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個成立的就是“深度學(xué)習(xí)研究所”（IDL，Institue of Deep Learning）。

?

?????? 為什么擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司爭相投入大量資源研發(fā)深度學(xué)習(xí)技術(shù)。聽起來感覺deeplearning很牛那樣。那什么是deep learning？為什么有deep learning？它是怎么來的？又能干什么呢？目前存在哪些困難呢？這些問題的簡答都需要慢慢來。咱們先來了解下機(jī)器學(xué)習(xí)（人工智能的核心）的背景。

?

二、背景

????? 機(jī)器學(xué)習(xí)（Machine Learning）是一門專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學(xué)科。機(jī)器能否像人類一樣能具有學(xué)習(xí)能力呢？1959年美國的塞繆爾(Samuel)設(shè)計了一個下棋程序，這個程序具有學(xué)習(xí)能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會問題與哲學(xué)問題（呵呵，人工智能正常的軌道沒有很大的發(fā)展，這些什么哲學(xué)倫理啊倒發(fā)展的挺快。什么未來機(jī)器越來越像人，人越來越像機(jī)器啊。什么機(jī)器會反人類啊，ATM是開第一槍的啊等等。人類的思維無窮啊）。

??????? 機(jī)器學(xué)習(xí)雖然發(fā)展了幾十年，但還是存在很多沒有良好解決的問題：

?

??????? 例如圖像識別、語音識別、自然語言理解、天氣預(yù)測、基因表達(dá)、內(nèi)容推薦等等。目前我們通過機(jī)器學(xué)習(xí)去解決這些問題的思路都是這樣的（以視覺感知為例子）：

?

??????? 從開始的通過傳感器（例如CMOS）來獲得數(shù)據(jù)。然后經(jīng)過預(yù)處理、特征提取、特征選擇，再到推理、預(yù)測或者識別。最后一個部分，也就是機(jī)器學(xué)習(xí)的部分，絕大部分的工作是在這方面做的，也存在很多的paper和研究。

??????? 而中間的三部分，概括起來就是特征表達(dá)。良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用，而且系統(tǒng)主要的計算和測試工作都耗在這一大部分。但，這塊實際中一般都是人工完成的。靠人工提取特征。

?

?????? 截止現(xiàn)在，也出現(xiàn)了不少NB的特征（好的特征應(yīng)具有不變性（大小、尺度和旋轉(zhuǎn)等）和可區(qū)分性yongshiyule178.com）：例如Sift的出現(xiàn)，是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作。由于SIFT對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強(qiáng)的可區(qū)分性，的確讓很多問題的解決變?yōu)榭赡堋５膊皇侨f能的。

?

?????? 然而，手工地選取特征是一件非常費(fèi)力、啟發(fā)式（需要專業(yè)知識）的方法，能不能選取好很大程度上靠經(jīng)驗和運(yùn)氣，而且它的調(diào)節(jié)需要大量的時間。既然手工選取特征不太好，那么能不能自動地學(xué)習(xí)一些特征呢？答案是能！Deep Learning就是用來干這個事情的，看它的一個別名UnsupervisedFeature Learning，就可以顧名思義了，Unsupervised的意思就是不要人參與特征的選取過程。

?????? 那它是怎么學(xué)習(xí)的呢？怎么知道哪些特征好哪些不好呢？我們說機(jī)器學(xué)習(xí)是一門專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為的學(xué)科。好，那我們?nèi)说囊曈X系統(tǒng)是怎么工作的呢？為什么在茫茫人海，蕓蕓眾生，滾滾紅塵中我們都可以找到另一個她（因為，你存在我深深的腦海里，我的夢里 我的心里 我的歌聲里……）。人腦那么NB，我們能不能參考人腦，模擬人腦呢？（好像和人腦扯上點(diǎn)關(guān)系的特征啊，算法啊，都不錯，但不知道是不是人為強(qiáng)加的，為了使自己的作品變得神圣和高雅。longboshyl.cn）

??????? 近幾十年以來，認(rèn)知神經(jīng)科學(xué)、生物學(xué)等等學(xué)科的發(fā)展，讓我們對自己這個神秘的而又神奇的大腦不再那么的陌生。也給人工智能的發(fā)展推波助瀾。

?

三、人腦視覺機(jī)理

?????? 1981 年的諾貝爾醫(yī)學(xué)獎，頒發(fā)給了 David Hubel（出生于加拿大的美國神經(jīng)生物學(xué)家） 和TorstenWiesel，以及 Roger Sperry。前兩位的主要貢獻(xiàn)，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”：可視皮層是分級的：

?

??????? 我們看看他們做了什么。1958 年，DavidHubel 和Torsten Wiesel 在 JohnHopkins University，研究瞳孔區(qū)域與大腦皮層神經(jīng)元的對應(yīng)關(guān)系。他們在貓的后腦頭骨上，開了一個3 毫米的小洞，向洞里插入電極，測量神經(jīng)元的活躍程度。

????? 然后，他們在小貓的眼前，展現(xiàn)各種形狀、各種亮度的物體。并且，在展現(xiàn)每一件物體時，還改變物體放置的位置和角度。他們期望通過這個辦法，讓小貓瞳孔感受不同類型、不同強(qiáng)弱的刺激。

?????? 之所以做這個試驗，目的是去證明一個猜測。位于后腦皮層的不同視覺神經(jīng)元，與瞳孔所受刺激之間，存在某種對應(yīng)關(guān)系。一旦瞳孔受到某一種刺激，后腦皮層的某一部分神經(jīng)元就會活躍。經(jīng)歷了很多天反復(fù)的枯燥的試驗，同時犧牲了若干只可憐的小貓，David Hubel 和Torsten Wiesel 發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞（Orientation Selective Cell）”的神經(jīng)元細(xì)胞。當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍。

?????? 這個發(fā)現(xiàn)激發(fā)了人們對于神經(jīng)系統(tǒng)的進(jìn)一步思考。神經(jīng)-中樞-大腦的工作過程，或許是一個不斷迭代、不斷抽象的過程。

?????? 這里的關(guān)鍵詞有兩個，一個是抽象，一個是迭代。從原始信號，做低級抽象，逐漸向高級抽象迭代。人類的邏輯思維，經(jīng)常使用高度抽象的概念。

??????? 例如，從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是只氣球）。

?

????? 這個生理學(xué)的發(fā)現(xiàn)，促成了計算機(jī)人工智能，在四十年后的突破性發(fā)展。

??????總的來說，人的視覺系統(tǒng)的信息處理是分級的。從低級的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標(biāo)的部分等，再到更高層，整個目標(biāo)、目標(biāo)的行為等。也就是說高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖。而抽象層面越高，存在的可能猜測就越少，就越利于分類。例如，單詞集合和句子的對應(yīng)是多對一的，句子和語義的對應(yīng)又是多對一的，語義和意圖的對應(yīng)還是多對一的，這是個層級體系。

????? 敏感的人注意到關(guān)鍵詞了：分層。而Deep learning的deep是不是就表示我存在多少層，也就是多深呢？沒錯。那Deep learning是如何借鑒這個過程的呢？畢竟是歸于計算機(jī)來處理，面對的一個問題就是怎么對這個過程建模？

?????? 因為我們要學(xué)習(xí)的是特征的表達(dá)，那么關(guān)于特征，或者說關(guān)于這個層級特征，我們需要了解地更深入點(diǎn)。所以在說Deep Learning之前，我們有必要再啰嗦下特征（呵呵，實際上是看到那么好的對特征的解釋，不放在這里有點(diǎn)可惜，所以就塞到這了）。

轉(zhuǎn)載于:https://www.cnblogs.com/qwangxiao/p/7493044.html

總結(jié)

以上是生活随笔為你收集整理的Deep Learning（深度学习）学习笔记整理系列 一的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。