按：【數(shù)字智能三篇】 目前“大數(shù)據(jù)”、“推薦系統(tǒng)”、“深度學(xué)習(xí)”是數(shù)字智能領(lǐng)域的熱點(diǎn)研究方向，相關(guān)的書(shū)籍也很火熱，比如“大數(shù)據(jù)”僅這兩年就出版了很多本，讓一般人看的眼花繚亂。

本系列共分三篇，力求僅以一頁(yè)紙的篇幅來(lái)系統(tǒng)完整地介紹以上這三個(gè)方向，深入淺出。以下內(nèi)容摘自2014年新出版的《3D打印：三維智能數(shù)字化創(chuàng)造》一書(shū)，有刪節(jié)，完整內(nèi)容及目錄詳見(jiàn)鏈接：http://www.sigvc.org/why/book/3dp/index.htm?

【數(shù)字智能三篇】之一： 一頁(yè)紙說(shuō)清楚“什么是大數(shù)據(jù)”：http://blog.sciencenet.cn/blog-4099-781642.html

【數(shù)字智能三篇】之二： 一頁(yè)紙說(shuō)清楚“什么是推薦系統(tǒng)？”：http://blog.sciencenet.cn/blog-4099-783271.html

－－－－－－－－－－－－－－－－－－－－－－－

深度學(xué)習(xí)：像人腦一樣深層次地思考

從上一篇我們可以看出，個(gè)性化推薦系統(tǒng)確實(shí)很會(huì)“察言觀色”，針對(duì)不同的用戶，主動(dòng)推送不同的3D打印內(nèi)容。但如果你認(rèn)為它真正有了“人工智能”，那你就錯(cuò)了。其實(shí)，這些推薦系統(tǒng)背后的運(yùn)行原理主要基于概率統(tǒng)計(jì)、矩陣或圖模型，計(jì)算機(jī)對(duì)這些數(shù)值運(yùn)算確實(shí)很擅長(zhǎng)，但由于采用的只是“經(jīng)驗(yàn)主義”的實(shí)用方法（也即管用就行），而非以“理性主義”的原則真正探求智能產(chǎn)生的原理，所以距離真正的人工智能還很遠(yuǎn)。AI（Artificial Intelligence），也就是人工智能，就像長(zhǎng)生不老和星際漫游一樣，是人類最美好的夢(mèng)想之一。雖然計(jì)算機(jī)技術(shù)已經(jīng)取得了長(zhǎng)足的進(jìn)步，但是到目前為止，還沒(méi)有一臺(tái)計(jì)算機(jī)能產(chǎn)生“自我”的意識(shí)。

提示：圖靈測(cè)試（Turing Testing），是計(jì)算機(jī)是否真正具有人工智能的試金石。“計(jì)算機(jī)科學(xué)之父”及“人工智能之父”英國(guó)數(shù)學(xué)家阿蘭·圖靈（1912—1954）在1950年的一篇著名論文《機(jī)器會(huì)思考嗎？》里，提出圖靈測(cè)試的設(shè)想。即把一個(gè)人和一臺(tái)計(jì)算機(jī)分別隔離在兩間屋子，然后讓屋外的一個(gè)提問(wèn)者對(duì)兩者進(jìn)行問(wèn)答測(cè)試。如果提問(wèn)者無(wú)法判斷哪邊是人，哪邊是機(jī)器，那就證明計(jì)算機(jī)已具備人的智能。

直到深度學(xué)習(xí)（Deep Learning）的出現(xiàn)，讓人們看到了一絲曙光，至少，（表象意義下的）圖靈測(cè)試已不再是那么遙不可及了。2013年4月，《麻省理工學(xué)院技術(shù)評(píng)論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)（Breakthrough Technology）之首。有了深度學(xué)習(xí)，推薦系統(tǒng)可以更加深度地挖掘你內(nèi)心的需求，并從海量的3D模型庫(kù)中挑選出最合適的供你打印。

讓我們先來(lái)看看人類的大腦是如何工作的。1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)，頒發(fā)給了David Hubel和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻(xiàn)是，發(fā)現(xiàn)了人的視覺(jué)系統(tǒng)的信息處理是分級(jí)的。如圖4-45所示，從視網(wǎng)膜（Retina）出發(fā)，經(jīng)過(guò)低級(jí)的V1區(qū)提取邊緣特征，到V2區(qū)的基本形狀或目標(biāo)的局部，再到高層的整個(gè)目標(biāo)（如判定為一張人臉），以及到更高層的PFC（前額葉皮層）進(jìn)行分類判斷等。也就是說(shuō)高層的特征是低層特征的組合，從低層到高層的特征表達(dá)越來(lái)越抽象和概念化，也即越來(lái)越能表現(xiàn)語(yǔ)義或者意圖。

圖4-45 ?人腦的視覺(jué)處理系統(tǒng) （圖片來(lái)源：Simon Thorpe）

這個(gè)發(fā)現(xiàn)激發(fā)了人們對(duì)于神經(jīng)系統(tǒng)的進(jìn)一步思考。大腦的工作過(guò)程，或許是一個(gè)不斷迭代、不斷抽象概念化的過(guò)程，如圖4-46所示。例如，從原始信號(hào)攝入開(kāi)始（瞳孔攝入像素），接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定眼前物體的形狀，比如是橢圓形的），然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是張人臉），最后識(shí)別眼前的這個(gè)人──正是大明星劉德華。這個(gè)過(guò)程其實(shí)和我們的常識(shí)是相吻合的，因?yàn)閺?fù)雜的圖形，往往就是由一些基本結(jié)構(gòu)組合而成的。同時(shí)我們還可以看出：大腦是一個(gè)深度架構(gòu)，認(rèn)知過(guò)程也是深度的。

圖4-46 ?視覺(jué)的分層處理結(jié)構(gòu) （圖片來(lái)源：Stanford）

而深度學(xué)習(xí)（Deep Learning），恰恰就是通過(guò)組合低層特征形成更加抽象的高層特征（或?qū)傩灶悇e）。例如，在計(jì)算機(jī)視覺(jué)領(lǐng)域，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到一個(gè)低層次表達(dá)，例如邊緣檢測(cè)器、小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上，通過(guò)線性或者非線性組合，來(lái)獲得一個(gè)高層次的表達(dá)。此外，不僅圖像存在這個(gè)規(guī)律，聲音也是類似的。比如，研究人員從某個(gè)聲音庫(kù)中通過(guò)算法自動(dòng)發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)，其余的聲音都可以由這20種基本結(jié)構(gòu)來(lái)合成！

在進(jìn)一步闡述深度學(xué)習(xí)之前，我們需要了解什么是機(jī)器學(xué)習(xí)（Machine Learning）。機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，而在很多時(shí)候，幾乎成為人工智能的代名詞。簡(jiǎn)單來(lái)說(shuō)，機(jī)器學(xué)習(xí)就是通過(guò)算法，使得機(jī)器能從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本做智能識(shí)別或?qū)ξ磥?lái)做預(yù)測(cè)。

而深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立可以模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如，圖像、聲音和文本。深度學(xué)習(xí)之所以被稱為“深度”，是因?yàn)橹暗臋C(jī)器學(xué)習(xí)方法都是淺層學(xué)習(xí)。深度學(xué)習(xí)可以簡(jiǎn)單理解為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（Neural Network）的發(fā)展。大約二三十年前，神經(jīng)網(wǎng)絡(luò)曾經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域特別熱門的一個(gè)方向，這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過(guò)去基于人工規(guī)則的專家系統(tǒng)，在很多方面顯示出優(yōu)越性。如圖4-47所示，深度學(xué)習(xí)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方，采用了與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)：系統(tǒng)是一個(gè)包括輸入層、隱層（可單層、可多層）、輸出層的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)（單元）之間有連接，而同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接。這種分層結(jié)構(gòu)，比較接近人類大腦的結(jié)構(gòu)（但不得不說(shuō)，實(shí)際上相差還是很遠(yuǎn)的，考慮到人腦是個(gè)異常復(fù)雜的結(jié)構(gòu)，很多機(jī)理我們目前都是未知的）。

圖4-47 ?傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)

提示：人類大腦由千億個(gè)神經(jīng)元組成，同時(shí)每個(gè)神經(jīng)元平均連接到其它幾千個(gè)神經(jīng)元，這樣形成一個(gè)龐大的神經(jīng)元網(wǎng)絡(luò)。通過(guò)這種連接方式，神經(jīng)元可以收發(fā)不同數(shù)量的能量，但它們對(duì)能量的接受并不是立即作出響應(yīng)，而是先累加起來(lái)，只有當(dāng)累加的總和達(dá)到某個(gè)臨界閾值時(shí)才把能量發(fā)送給其它的神經(jīng)元。而人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANN）將人類神經(jīng)網(wǎng)絡(luò)作了數(shù)學(xué)上的抽象，如圖4-47所示，將其抽象為輸入層、輸出層以及中間的若干隱層（Hidden Layer，用于層次化地對(duì)內(nèi)在特征進(jìn)行降維和抽象表達(dá)，相當(dāng)于特征檢測(cè)器），其中每層都有若干結(jié)點(diǎn)及連接這些點(diǎn)的邊，通過(guò)在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)出邊的權(quán)重（Weight）來(lái)建立模型。邊所表征的函數(shù)（通常為非線性函數(shù)）的不同，對(duì)應(yīng)于不同的神經(jīng)網(wǎng)絡(luò)。例如，第6章6.4.1節(jié)所介紹的感知機(jī)就是一種最簡(jiǎn)單的、不含任何隱層的前向（Feedforward）人工神經(jīng)網(wǎng)絡(luò)，其中的函數(shù)被稱為傳遞函數(shù)（Transfer Function）、而門限截止函數(shù)則被用作激活函數(shù)（Activation Function）。在上世紀(jì)七八十年代，這種在人工智能領(lǐng)域被稱為聯(lián)結(jié)主義學(xué)派（Connectionism）的方法曾盛極一時(shí)。

但是后來(lái)，因?yàn)槔碚摲治龅碾y度，加上訓(xùn)練方法需要很多經(jīng)驗(yàn)和技巧，以及巨大的計(jì)算量和優(yōu)化求解難度，神經(jīng)網(wǎng)絡(luò)慢慢淡出了科研領(lǐng)域的主流方向。值得指出的是，神經(jīng)網(wǎng)絡(luò)（如采用誤差反向傳播算法：Back Propagation，簡(jiǎn)稱BP算法，通過(guò)梯度下降方法在訓(xùn)練過(guò)程中修正權(quán)重使得網(wǎng)絡(luò)誤差最小）在層次深的情況下性能變得很不理想（傳播時(shí)容易出現(xiàn)所謂的梯度彌散Gradient Diffusion或稱之為梯度消失，根源在于非凸目標(biāo)代價(jià)函數(shù)導(dǎo)致求解陷入局部最優(yōu)，且這種情況隨著網(wǎng)絡(luò)層數(shù)的增加而更加嚴(yán)重，即隨著梯度的逐層不斷消散導(dǎo)致其對(duì)網(wǎng)絡(luò)權(quán)重調(diào)整的作用越來(lái)越小），所以只能轉(zhuǎn)而處理淺層結(jié)構(gòu)（小于等于3），從而限制了性能。于是，20世紀(jì)90年代，有更多各式各樣的淺層模型相繼被提出，比如只有一層隱層節(jié)點(diǎn)的支撐向量機(jī)（SVM，Support Vector Machine）和Boosting，以及沒(méi)有隱層節(jié)點(diǎn)的最大熵方法（例如LR，Logistic Regression）等，在很多應(yīng)用領(lǐng)域取代了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。

顯然，這些淺層結(jié)構(gòu)算法有很多局限性：在有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受到一定的制約。更重要的是，淺層模型有一個(gè)特點(diǎn)，就是需要依靠人工來(lái)抽取樣本的特征。然而，手工地選取特征是一件非常費(fèi)力的事情，能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣。既然手工選取特征不太好，那么能不能自動(dòng)地學(xué)習(xí)一些特征呢？

提示：實(shí)際生活中，人們?yōu)榱藢?shí)現(xiàn)對(duì)象的分類，首先必須做的事情是如何來(lái)表達(dá)一個(gè)對(duì)象，即必須抽取一些特征來(lái)表示一個(gè)對(duì)象。例如，區(qū)分人和猴子的一個(gè)重要特征是是否有尾巴。特征選取的好壞對(duì)最終結(jié)果的影響非常大。
此外，我們希望提取到的特征能代表輸入數(shù)據(jù)的最重要部分，就像PCA（Principal Component Analysis，主成分分析，請(qǐng)參見(jiàn)第6章的6.2.2節(jié)）那樣，找到可以代表原信息的主要成分。以自動(dòng)編碼器（AutoEncoder）為例，這是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)：即輸出要盡可能與輸入相同，表示為。我們可通過(guò)訓(xùn)練調(diào)整這個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)，來(lái)得到每一層中的權(quán)值系數(shù)，這樣就可得到輸入的一個(gè)層次化的表示。這個(gè)可代表原信息主要成分的表示就是所謂的特征。
進(jìn)一步地，我們還可用來(lái)表示輸出，其中稱為字典。類似于PCA，可理解為基，可理解為系數(shù)。同時(shí)，我們不僅希望將信號(hào)表示為一組層次化基的線性組合，而且要求只需較少的幾個(gè)基就可以將信號(hào)表示出來(lái)，這就是所謂的稀疏編碼（Sparse Coding）。“稀疏性”定義為：只有很少的幾個(gè)非零元素或只有很少的幾個(gè)遠(yuǎn)大于零的元素。也即，我們希望求得一組最佳的系數(shù)，滿足：
? ? ? ? ? ? ? ?

注意上式右邊對(duì)系數(shù)采用了L1范式/正則化/約束以滿足稀疏性，上式實(shí)際上是對(duì)Lasso（The Least Absolute Shrinkage and Selectionator operator）估計(jì)的求解。
之所以希望“稀疏性”是科學(xué)依據(jù)的，因?yàn)榻^大多數(shù)的感官數(shù)據(jù)，比如自然圖像，都可以被表示成“少量”基本元素的疊加，比如基本線/面的疊加。稀疏編碼算法是一種無(wú)監(jiān)督學(xué)習(xí)方法，它用來(lái)尋找一組“超完備”基向量（基向量的個(gè)數(shù)比輸入向量的維數(shù)要大）以更高效地表示樣本數(shù)據(jù)，以找出隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式。

答案是能！深度學(xué)習(xí)框架將特征和分類器結(jié)合到一個(gè)框架中，自動(dòng)地從海量大數(shù)據(jù)中去學(xué)習(xí)特征，在使用中減少了手工設(shè)計(jì)特征的巨大工作量。看它的一個(gè)別名：無(wú)監(jiān)督特征學(xué)習(xí)（Unsupervised Feature Learning），就可以顧名思義了。無(wú)監(jiān)督（Unsupervised）學(xué)習(xí)的意思就是不需要通過(guò)人工方式進(jìn)行樣本類別的標(biāo)注來(lái)完成學(xué)習(xí)。因此，深度學(xué)習(xí)是一種可以自動(dòng)地學(xué)習(xí)特征的方法。

提示：準(zhǔn)確地說(shuō)，深度學(xué)習(xí)首先利用無(wú)監(jiān)督學(xué)習(xí)對(duì)每一層進(jìn)行逐層預(yù)訓(xùn)練（Layerwise Pre-Training）去學(xué)習(xí)特征；每次單獨(dú)訓(xùn)練一層，并將訓(xùn)練結(jié)果作為更高一層的輸入；然后到最上層改用監(jiān)督學(xué)習(xí)從上到下進(jìn)行微調(diào)（Fine-Tune）去學(xué)習(xí)模型。

深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并展現(xiàn)了強(qiáng)大的從大量無(wú)標(biāo)注樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。深度學(xué)習(xí)能夠獲得可更好地表示數(shù)據(jù)的特征，同時(shí)由于模型的層次深（通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)，“深”的好處是可以控制隱層節(jié)點(diǎn)的數(shù)目為輸入節(jié)點(diǎn)數(shù)目的多項(xiàng)式倍而非多達(dá)指數(shù)倍）、表達(dá)能力強(qiáng)，因此有能力表示大規(guī)模數(shù)據(jù)。對(duì)于圖像、語(yǔ)音這種特征不明顯（需要手工設(shè)計(jì)且很多沒(méi)有直觀的物理含義）的問(wèn)題，深度模型能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。尤其是在語(yǔ)音識(shí)別方面，深度學(xué)習(xí)使得錯(cuò)誤率下降了大約30%，取得了顯著的進(jìn)步。相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)作出了重大的改進(jìn)，在訓(xùn)練上的難度（如梯度彌散問(wèn)題）可以通過(guò)“逐層預(yù)訓(xùn)練”來(lái)有效降低。注意，深度學(xué)習(xí)不是萬(wàn)金油，像很多其他方法一樣，它需要結(jié)合特定領(lǐng)域的先驗(yàn)知識(shí)，需要和其他模型結(jié)合才能得到最好的結(jié)果。當(dāng)然，還少不了需要針對(duì)自己的項(xiàng)目去仔細(xì)地調(diào)參數(shù)，這也往往令人詬病。此外，類似于神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)的另一局限性是可解釋性不強(qiáng)，像個(gè)“黑箱子”一樣不知為什么能取得好的效果，以及不知如何有針對(duì)性地去具體改進(jìn)，而這有可能成為產(chǎn)品升級(jí)過(guò)程中的阻礙。

深度學(xué)習(xí)通過(guò)很多數(shù)學(xué)和工程技巧增加（堆棧疊加：Stack）隱層的層數(shù)，如果隱層足夠多（也就是深），選擇適當(dāng)?shù)倪B接函數(shù)和架構(gòu)，就能獲得很強(qiáng)的表達(dá)能力。深度學(xué)習(xí)的一個(gè)主要優(yōu)勢(shì)在于可以利用海量訓(xùn)練數(shù)據(jù)（即大數(shù)據(jù)），但是常用的模型訓(xùn)練算法反向傳播（Back Propagation）仍然對(duì)計(jì)算量有很高的要求。而近年來(lái)，得益于計(jì)算機(jī)速度的提升、基于MapReduce的大規(guī)模集群技術(shù)的興起、GPU的應(yīng)用以及眾多優(yōu)化算法的出現(xiàn)，耗時(shí)數(shù)月的訓(xùn)練過(guò)程可縮短為數(shù)天甚至數(shù)小時(shí)，深度學(xué)習(xí)才在實(shí)踐中有了用武之地。

值得一提的是，深度學(xué)習(xí)的誕生并非一帆風(fēng)順。雖然Yahn Lecun在1993年提出的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network：CNN）是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法，但應(yīng)用效果一直欠佳｡直到2006年，Geoffrey Hinton基于深度置信網(wǎng)（Deep Belief Net：DBN）——其由一系列受限波爾茲曼機(jī)（Restricted Boltzmann Machine：RBM）組成，提出非監(jiān)督貪心逐層訓(xùn)練（Layerwise Pre-Training）算法，應(yīng)用效果才取得突破性進(jìn)展，其與之后Ruslan Salakhutdinov提出的深度波爾茲曼機(jī)（Deep Boltzmann Machine：DBM）重新點(diǎn)燃了人工智能領(lǐng)域?qū)τ?/span>神經(jīng)網(wǎng)絡(luò)（Neural Network）和波爾茲曼機(jī)（Boltzmann Machine）的熱情，才由此掀起了深度學(xué)習(xí)的浪潮｡從目前的最新研究進(jìn)展來(lái)看，只要數(shù)據(jù)足夠大、隱層足夠深，即便不加“Pre-Training”預(yù)處理，深度學(xué)習(xí)也可以取得很好的結(jié)果，反映了大數(shù)據(jù)和深度學(xué)習(xí)相輔相成的內(nèi)在聯(lián)系。此外，雖說(shuō)非監(jiān)督（如DBM方法）是深度學(xué)習(xí)的一個(gè)優(yōu)勢(shì)，深度學(xué)習(xí)當(dāng)然也可用于帶監(jiān)督的情況（也即給予了用戶手動(dòng)標(biāo)注的機(jī)會(huì)），實(shí)際上帶監(jiān)督的CNN方法目前就應(yīng)用得越來(lái)越多，乃至正在超越DBM。

提示：與前向神經(jīng)網(wǎng)絡(luò)不同，RBM（受限波爾茲曼機(jī)）中的可見(jiàn)層和隱含層之間的連接是無(wú)方向性且全連接的。對(duì)比差異無(wú)監(jiān)督訓(xùn)練是RBM的一個(gè)重要算法，包含了正向過(guò)程、反向過(guò)程和權(quán)值更新三個(gè)步驟，主要目標(biāo)是使生成的數(shù)據(jù)與原數(shù)據(jù)盡可能相似，并通過(guò)對(duì)比兩者的差異來(lái)調(diào)整權(quán)值更新：
? ? ? ? ? ? ? ? ? ??
其中，是學(xué)習(xí)速率。這樣的網(wǎng)絡(luò)可具備感知對(duì)輸入數(shù)據(jù)表達(dá)程度的能力，而且嘗試通過(guò)這個(gè)感知能力重建數(shù)據(jù)。如果重建出來(lái)的數(shù)據(jù)與原數(shù)據(jù)差異很大，那么進(jìn)行調(diào)整并再次重建。

2012年6月，《紐約時(shí)報(bào)》披露了Google Brain項(xiàng)目，吸引了公眾的廣泛關(guān)注。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授Andrew Ng和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家Jeff Dean共同主導(dǎo)，用16,000個(gè)CPU Core的并行計(jì)算平臺(tái)去訓(xùn)練含有10億個(gè)節(jié)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)（DNN，Deep Neural Networks），使其能夠自我訓(xùn)練，對(duì)2萬(wàn)個(gè)不同物體的1,400萬(wàn)張圖片進(jìn)行辨識(shí)。在開(kāi)始分析數(shù)據(jù)前，并不需要向系統(tǒng)手工輸入任何諸如“臉、肢體、貓的長(zhǎng)相是什么樣子”這類特征。Jeff Dean說(shuō)：“我們?cè)谟?xùn)練的時(shí)候從來(lái)不會(huì)告訴機(jī)器：‘這是一只貓’（即無(wú)標(biāo)注樣本）。系統(tǒng)其實(shí)是自己發(fā)明或領(lǐng)悟了‘貓’的概念。”

2014年3月，同樣也是基于深度學(xué)習(xí)方法，Facebook的?DeepFace?項(xiàng)目使得人臉識(shí)別技術(shù)的識(shí)別率已經(jīng)達(dá)到了?97.25%，只比人類識(shí)別?97.5%?的正確率略低那么一點(diǎn)點(diǎn)，準(zhǔn)確率幾乎可媲美人類。該項(xiàng)目利用了?9?層的神經(jīng)網(wǎng)絡(luò)來(lái)獲得臉部表征，神經(jīng)網(wǎng)絡(luò)處理的參數(shù)高達(dá)?1.2億。

最后我們?cè)倩氐酱髷?shù)據(jù)這個(gè)時(shí)代背景上來(lái)。當(dāng)坐擁海量的大數(shù)據(jù)，我們無(wú)論是做推薦系統(tǒng)還是3D模型檢索（見(jiàn)第6章的6.4節(jié)“眾里尋她千百度──海量3D模型的檢索”），以前用簡(jiǎn)單的線性數(shù)學(xué)模型，一般也能獲得還不錯(cuò)的結(jié)果。因此我們沾沾自喜起來(lái)，認(rèn)為還是大數(shù)據(jù)更重要，而智能算法用簡(jiǎn)單直接的就OK了，不需要也沒(méi)必要弄得很復(fù)雜。而當(dāng)深度學(xué)習(xí)出現(xiàn)后，它的一系列輝煌戰(zhàn)績(jī)讓我們意識(shí)到：也許是時(shí)候該“鳥(niǎo)槍換炮”了。簡(jiǎn)而言之，在大數(shù)據(jù)情況下，也許只有比較復(fù)雜的模型，或者說(shuō)表達(dá)能力強(qiáng)的模型，才能充分發(fā)掘海量數(shù)據(jù)中蘊(yùn)藏的有價(jià)值信息。更重要的是，深度學(xué)習(xí)可以自動(dòng)學(xué)習(xí)特征，而不必像以前那樣還要請(qǐng)專家手工構(gòu)造特征，極大地推進(jìn)了智能自動(dòng)化。

深度學(xué)習(xí)（即所謂“深度”）應(yīng)大數(shù)據(jù)（即所謂“廣度”）而生，給大數(shù)據(jù)提供了一個(gè)深度思考的大腦，而3D打印（即所謂“力度”）給了智能數(shù)字化一個(gè)強(qiáng)健的軀體，三者共同引發(fā)了“大數(shù)據(jù)＋深度模型＋3D打印”浪潮的來(lái)臨。

from:?http://blog.sciencenet.cn/blog-4099-785174.html

總結(jié)

以上是生活随笔為你收集整理的【数字智能三篇】之三： 一页纸说清楚“什么是深度学习？”的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。