傳統機器學習解決問題的一般思路為：

數據獲取$\to$ 預處理$\to$ 特征提取（表達）$\to$ 特征選擇$\to$ 推理、預測、識別

其中的 特征提取（表達） 部分對最終的算法準確性起著非常關鍵性的作用，而系統主要的計算和測試工作都消耗在這一部分。但實際中這一部分一般都是人工完成的，即人工提取特征。

手工提取特征費力且需要經驗、專業知識和運氣，難以得到好的特征，因此思考讓計算機自動學習特征，即 深度學習。

人腦視覺機理

近幾十年以來，認知神經科學、生物學等學科的發展促進了人工智能的發展。而關于人的視覺信息系統：

（1）人的視覺系統信息處理是分級的；
（2）高層特征是低層特征的組合，而抽象層面越高，存在的可能猜測就越少，就越利于分類。

這個生理學的發現，促成了計算機人工智能的突破性發展。

特征表達

而深度學習，則是讓機器自動學習良好特征的過程，參考人的視覺分層處理系統，即深度學習需要更多層來獲得更抽象的特征表達。

深度學習的基本思想

假設有一個系統 $S$，有 n 層 $(S_1,S_2,?,S_n)$，輸入為 $I$，輸出為 $O$，則可表示為：

$I?S_1?S_2???S_n?O$，

若輸出 $O$ 等于輸入 $I$，即輸入 $I$ 經過這個系統變化之后沒有任何的信息丟失。

深度學習需要自動地學習特征，有一堆輸入 $I$（如一堆圖像或者文本），假設我們設計了一個系統 $S$（有n層），通過調整系統中參數，使它的輸出等于輸入 $I$，那么我們就可以自動地獲取得到輸入I的一系列層次特征，即 $(S_1,S_2,?,S_n)$。輸出 $O$ 嚴格等于輸入 $I$，這個限制太嚴格，可略微放松，只要使得輸入與輸出的差別盡可能小即可。

深度學習的思想就是堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息的分級（hierarchical）表達。

深度學習

傳統的多數分類、回歸等學習方法為淺層結構算法，其局限性在于有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從大樣本中集中學習數據集本質特征的能力。而使用多層網絡的好處是可以通過多層疊加表示復雜函數。

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。即利用“深度模型”這一手段來實現“特征學習”的目的。

深度學習與傳統淺層學習的不同

（1）深度學習強調模型結構的深度，通常至少有5層、6層，甚至10多層的隱層節點；
（2）深度學習明確突出特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，使分類或預測更加容易。與人工規則構造特征的方法相比，利用大數據學習特征，更能夠刻畫數據的豐富內在信息。

但相較于傳統方法，其也存在著劣勢：
（1）比較容易過擬合，參數比較難調整，而且需要不少竅門；
（2）訓練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優。

深度學習與 神經網絡的異同點比較：
相同點：深度學習采用了神經網絡相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰層節點之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個邏輯回歸模型；這種分層結構，比較接近人類大腦的結構。

不同點：傳統神經網絡中，采用的是反向傳播（BP）算法進行訓練。即采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前計算的輸出值和實際的標記值之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。但深度學習整體上是一個layer-wise的訓練機制。避免層數多時殘差出現所謂的gradient diffusion（梯度擴散）。

BP算法作為傳統訓練多層網絡的典型算法，實際上對僅含幾層網絡，該訓練方法就已經很不理想。其對深度網絡的訓練存在一些問題：（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；（3）只能用有標簽的數據來訓練：但大部分數據是沒標簽的，而大腦可以從沒有標簽的數據中學習。

對于深層模型的訓練，通常采用BP算法來更新網絡參數。但是需要對網絡參數進行很小心的初始化，以免網絡陷入局部最小點。

深度學習的具體模型及方法

1.自動編碼器( AutoEncoder )

2.稀疏自動編碼器( Sparse AutoEncoder )

3.降噪自動編碼器( Denoising AutoEncoders )

4.受限波爾茲曼機( RBM，Restricted Boltzmann Machine ）

5.深度信念網絡( Deep Belief Networks )

6.卷積神經網絡( Convolutional Neural Networks )

7.生成對抗網絡( GAN )

總結

以上是生活随笔為你收集整理的从机器学习到深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。