歡迎來到專欄《AI雜談》，顧名思義就是說一些比較雜的有意思的東西了，任何東西都有可能。

今天首先介紹一篇文章，2014年的一篇深度學習綜述，《Deep learning in Neural Networks：An Overiew》，來自于瑞士人工智能實驗室Jurgen Schmidhuber。這是我見過的唯一一篇參考文獻比正文還長的文章（看來還是文章看得太少了），正文17頁，參考文獻27頁。在這個基礎上對深度學習的各個方向做簡單的介紹。

作者 | 言有三

編輯 | 言有三

01

文章內容

顧名思義這是一篇深度學習綜述文章，雖然是4年前，時間有點久遠了，但是還有具有可讀性的，尤其是歷史部分。文章的內容包括以下幾個方面。

1.1?Introduction

前面四節都是簡介，加起來也只有5頁紙，而且一些術語很是晦澀。

第一節簡單介紹了什么是神經網絡，神經網絡的幾個重要歷史節點（1960年代的啟蒙，1980年代反向傳播被用于訓練模型，2009年后開始逐漸在各類比賽中嶄露頭角等）。

提到了早期的無監督學習和有監督學習，在沒有反向傳播算法之前，實際上主流是采用無監督學習的方案，winner-take-all算法是很常見的。

第二節扯了沒什么卵用的東西。

第三節討論了模型深度的問題，何時shallow learning就能搞定問題，何時又需要deep learning？這是個很復雜的工程問題了，早點想一想也好。

第四節說了深度學習中的一些常見主題。提了無監督學習對有監督學習和增強學習的輔助，甚至還有GPU，不過筆者覺得寫的真爛。

1.2 Supervised NNs

這一節才是正式開始說歷史，咱們可以看一下目錄了解大概。

5.1節說的是上個世紀40年代，McCulloch和Pitts提出的MP模型。

5.2節說的是上個世紀60年代Hubel和Wiesel研究貓的大腦并發現了大腦視覺機制，這是整個卷積神經網絡的基礎，兩人也因此獲得了諾貝爾生理學與醫學獎。

5.3節說的是最早的多層感知器模型，甚至1971年的時候已經達到了8層，當時的機器下不知道怎么訓練的，有時間要去看看。

5.4節說的是第一個卷積神經網絡，Neogognitron。在這個網絡中已經出現了現代卷積神經網絡的基本輪廓，卷積和下采樣，公眾號之前也解讀過的。

5.5節講述了反向傳播機制的誕生，及其在神經網絡訓練中的應用。正式的出現是在1981年，從此反向傳播成為了神經網絡的標配訓練機制。

后面的大家自己對著看吧

......

......

......

1.3 Reinforcement Learning

第5部分都在說有監督學習和無監督學習在一些模式識別任務中的應用，第6部分則重點就是說增強學習在一些未知環境中的應用，并且同時討論了前饋神經網絡FNN和RNN。

02

雜談深度學習綜述

既然是雜談就再說兩句，上面這篇文章其實正文不長，但是真的不好讀，在公眾號寫出來只是感覺比較奇特（吸引眼球）。

如果你想讀深度學習或者CNN相關的綜述，我推薦一些其他的資料，更好。

《What Do We Understand About Convolutional Networks?》，這是我見過最好的卷積神經網絡綜述，沒有之一，老少咸宜，新手和菜鳥都行，覆蓋CNN方方面面，有圖有真相，機器之心有中文翻譯版本。

《Efficient?Processing?of?Deep?Neural?Networks: A Tutorial and Survey》，主要是硬件角度出發撰寫的Deep learning綜述，這篇文章說的東西也比較多。

《A Deep Learning Tutorial: From Perceptrons to Deep Networks》，優秀入門博客，不多解釋。

下面我對深度學習中的一些重要研究方向列出來供大家學習參考，涉及的東西太多了。

2.1 深度學習理論

深度學習相關的理論涉及非常多的東西，為大家所熟悉的就包括最優化方法，激活函數，正則化方法，歸一化方法，初始化方法，可視化解釋等等。

前段時間公眾號也做了調研，大家對這一塊內容的投票最高，之所以前段時間沒寫，是因為我想把這一塊寫的盡可能完美而淺顯易懂，有理論又包含實踐，這一塊是我們2019年的重中之重，盡情期待吧！

2.2 模型架構

這一塊包含的東西也特別多（其實可以包含在理論中），深度學習在各大領域都有不同的模型，比如圖像領域常見的CNN，語音和NLP領域常見的RNN，LSTM，GAN。而CNN又包含了非常多的結構，我們有一個專欄（可以至公眾號菜單看），大家持續關注就好，下面是其中的幾篇文章。

【模型解讀】“不正經”的卷積神經網絡

【模型解讀】resnet中的殘差連接，你確定真的看懂了？

2.3 深度學習框架

工欲善其事必先利其器，深度學習框架對于從事相關工作太重要了，我們也有一個快速入門的專欄（可以至公眾號菜單看），而且今年會進行更多的拓展，這也是公眾號今年的重點項目。

【caffe速成】caffe圖像分類從模型自定義到測試

【tensorflow速成】Tensorflow圖像分類從模型自定義到測試

2.4 數據相關

數據是深度學習系統的輸入，從數據的收集整理到數據增強的應用等涉及的領域也非常廣，而且通常毀掉一個項目的就是數據，我們也有相關的專欄和文章。

【技術綜述】一文道盡“人臉數據集”

【技術綜述】深度學習中的數據增強（下）

【數據】深度學習從“數據集”開始

2.5 可視化

數據和模型的可視化也是一個單獨的領域，可以有助于我們更深入理解數據和模型到底學到了什么，在干什么，我們也有一篇綜述的。

【技術綜述】“看透”神經網絡

2.6 方向

涉及的方向太廣了，以圖像為例，筆者以前在外講座包括了以下內容。

當然，從應用角度來說，人臉，自動駕駛等都是非常大的方向，足夠研究半輩子了。

另外，一些訓練技巧，損失函數的設計等都是非常重要的工程技巧，我會經常寫寫的，請持續關注吧。

本文相關的文章，可以發送關鍵詞“深度學習綜述”獲取。

總結

提幾個小眾但是很有意思的問題供大家思考一下，過一天我會公布答案。考驗知識是不是扎實的時候到了。

1，誰首先提出了數據增強策略？

2，第一個圖像領域的卷積神經網絡和第一個語音領域的卷積神經網絡分別是誰？

3，為什么LeNet網絡，倒數第二層全連接的大小是84？

轉載文章請后臺聯系

侵權必究

更多請關注知乎專欄《有三AI學院》

往期精選

• 回顧2018，計劃2019

• 【雜談】為什么你學了AI，企業卻不要你

總結

以上是生活随笔為你收集整理的【AI杂谈】从一篇参考文献比正文还长的文章，杂谈深度学习综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。