機器學習算法理論在上個世紀90年代發展成熟，在許多領域都取得了成功應用。但平靜的日子只延續到2010年左右，隨著大數據的涌現和計算機算力提升，深度學習模型異軍突起，極大改變了機器學習的應用格局。今天，多數機器學習任務都可以使用深度學習模型解決，尤其在語音、計算機視覺和自然語言處理等領域，深度學習模型的效果比傳統機器學習算法有顯著提升。

那么相比傳統的機器學習算法，深度學習做出了哪些改進呢？其實兩者在理論結構上是一致的，即：模型假設、評價函數和優化算法，其根本差別在于假設的復雜度，如下圖所示。

不是所有的任務都像牛頓第二定律那樣簡單直觀。對于圖1中的美女照片，人腦可以接收到五顏六色的光學信號，能用極快的速度反應出這張圖片是一位美女，而且是程序員喜歡的類型。但對計算機而言，只能接收到一個數字矩陣，對于美女這種高級的語義概念，從像素到高級語義概念中間要經歷的信息變換的復雜性是難以想象的！這種變換已經無法用數學公式表達，因此研究者們借鑒了人腦神經元的結構，設計出神經網絡的模型。

深度學習改變了很多領域算法的實現模式。在深度學習興起之前，很多領域建模的思路是投入大量精力做特征工程，將專家對某個領域的“人工理解”沉淀成特征表達，然后使用簡單模型完成任務（如分類或回歸）。而在數據充足的情況下，深度學習模型可以實現端到端的學習，即不需要專門做特征工程，將原始的特征輸入模型中，模型可同時完成特征提取和分類任務，如下圖所示。

以計算機視覺任務為例，特征工程是諸多圖像科學家基于人類對視覺理論的理解，設計出來的一系列提取特征的計算步驟，典型如SIFT特征。在2010年之前的計算機視覺領域，人們普遍使用SIFT一類特征+SVM一類的簡單淺層模型完成建模任務。

SIFT特征由David Lowe在1999年提出，在2004年加以完善。SIFT特征是基于物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。對于光線、噪聲、微視角改變的容忍度也相當高。基于這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特征數據庫中，很容易辨識物體而且鮮有誤認。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當高，甚至只需要3個以上的SIFT物體特征就足以計算出位置與方位。在現今的電腦硬件速度下和小型的特征數據庫條件下，辨識速度可接近即時運算。SIFT特征的信息量大，適合在海量數據庫中快速準確匹配。

在深度學習框架出現之前，機器學習工程師處于手工業作坊生產的時代。為了完成建模，工程師需要儲備大量數學知識，并為特征工程工作積累大量行業知識。每個模型是極其個性化的，建模者如同手工業者一樣，將自己的積累形成模型的“個性化簽名”。而今，“深度學習工程師”進入了工業化大生產時代。只要掌握深度學習必要但少量的理論知識，掌握Python編程，即可在深度學習框架上實現非常有效的模型，甚至與該領域最領先的模型不相上下。建模這個被“老科學家”們長期把持的建模領域面臨著顛覆，也是新入行者的機遇。

下圖呈現了只有一個參數維度時，均方誤差和絕對值誤差（只將每個樣本的誤差累加，不做平方處理）的損失函數曲線圖。

由此可見，均方誤差表現的“圓滑”的坡度有兩個好處：

（1）曲線的最低點是可導的。
（2）越接近最低點，曲線的坡度逐漸放緩，有助于通過當前的梯度來判斷接近最低點的程度（是否逐漸減少步長，以免錯過最低點）。

而絕對值誤差是不具備這兩個特性的，這也是損失函數的設計不僅僅要考慮“合理性”，還要追求“易解性”的原因。

為什么之前我們要做輸入特征的歸一化，保持尺度一致？這是為了讓統一的步長更加合適。如下圖所示，特征輸入歸一化后，不同參數輸出的Loss是一個比較規整的曲線，學習率可以設置成統一的值；特征輸入未歸一化時，不同特征對應的參數所需的步長不一致，尺度較大的參數需要大步長，尺寸較小的參數需要小步長，導致無法設置統一的學習率。

通過大量實驗發現，模型對最后出現的數據印象更加深刻。訓練數據導入后，越接近模型訓練結束，最后幾個批次數據對模型參數的影響越大。為了避免模型記憶影響訓練效果，需要進行樣本亂序操作。

R-CNN的系列算法分成兩個階段，先在圖像上產生候選區域，再對候選區域進行分類并預測目標物體位置，它們通常被叫做兩階段檢測算法。SSD和YOLO算法則只使用一個網絡同時產生候選區域并預測出物體的類別和位置，所以它們通常被叫做單階段檢測算法。

參考文獻：https://www.paddlepaddle.org.cn/tutorials/projectdetail/1211152

猜你喜歡：👇🏻
?【隨筆】深度學習之美——楊家有女初長成，養在深閨人未識
?【隨筆】卷積神經網絡中的卷積怎么卷？
?【隨筆】通用近似定理

總結

以上是生活随笔為你收集整理的【随笔】从飞桨入门深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。