核心思想：

假設(shè)我們有一個系統(tǒng)S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn?

=> O，如果輸出O等于輸入I，即輸入I經(jīng)過這個系統(tǒng)變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經(jīng)過

每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。

在深度學(xué)習(xí)中，我們需要自動地學(xué)習(xí)特征，假設(shè)有一堆輸入I（如一堆圖像或者文本），我們設(shè)計了一個系統(tǒng)S（有n

層），我們通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特

征，即S1，…, Sn。

深度學(xué)習(xí)的思想就是堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式實(shí)現(xiàn)對輸入信

息進(jìn)行分級表達(dá)了。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或

特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

觀點(diǎn)及網(wǎng)絡(luò)結(jié)構(gòu)：

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和他的學(xué)生在《科學(xué)》上發(fā)表了一篇文

章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個主要觀點(diǎn)：

1、多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視

化或分類；

2、深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，在這篇

文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。

深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少

數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。（多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)）

?深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提

升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常

有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；?明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原

空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)

來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。

深度學(xué)習(xí)?采用了神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰

層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個logistic?regression模型；這種分

層結(jié)構(gòu)，是比較接近人類大腦的結(jié)構(gòu)的。

訓(xùn)練機(jī)制：

整體上是一個layer-wise的訓(xùn)練機(jī)制。這樣做的原因是因?yàn)?#xff0c;如果采用back propagation的機(jī)制，對于一個deep?

network（7層以上），殘差傳播到最前面的層已經(jīng)變得太小，出現(xiàn)所謂的gradient?diffusion（梯度擴(kuò)散）。

總結(jié)

以上是生活随笔為你收集整理的深度学习——核心思想的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。