轉載自：http://blog.csdn.net/u013088062/article/details/51118744

　深度學習（DeepLearning）尤其是卷積神經網絡（CNN）作為近幾年來模式識別中的研究重點，受到人們越來越多的關注，相關的參考文獻也是層出不窮，連續(xù)幾年都占據了CVPR的半壁江山，但是萬變不離其宗，那些在深度學習發(fā)展過程中起到至關重要的推動作用的經典文獻依然值得回味，這里依據時間線索，對CNN發(fā)展過程中出現的一些經典文獻稍作總結，方便大家在研究CNN時追本溯源，在汲取最新成果的同時不忘經典。

　　首先這里給出CNN在發(fā)展過程中的一些具有里程碑意義的事件和文獻：

　　對于CNN最早可以追溯到1986年BP算法的提出，然后1989年LeCun將其用到多層神經網絡中，直到1998年LeCun提出LeNet-5模型，神經網絡的雛形完成。在接下來近十年的時間里，卷積神經網絡的相關研究趨于停滯，原因有兩個：一是研究人員意識到多層神經網絡在進行BP訓練時的計算量極其之大，當時的硬件計算能力完全不可能實現；二是包括SVM在內的淺層機器學習算法也漸漸開始暫露頭腳。2006年，Hinton終于一鳴驚人，在《科學》上發(fā)表文章，CNN再度覺醒，并取得長足發(fā)展。2012年，ImageNet大賽上CNN奪冠，2014年，谷歌研發(fā)出20層的VGG模型。同年，DeepFace、DeepID模型橫空出世，直接將LFW數據庫上的人臉識別、人臉認證的正確率刷到99.75%，幾乎超越人類。2015年深度學習領域的三巨頭LeCun、Bengio 、Hinton聯手在Nature上發(fā)表綜述對DeepLearning進行科普。2016年3月阿爾法狗打敗李世石，2016年4月我在寫這篇博文。

　　一、1986年~1998年

　　這段時間里是CNN的雛形階段，主要包括BP算法的提出、BP算法在多層神經網絡模型中的應用、LeNet-5模型的正式定型。

　　1.1 BP算法的提出

　　BP算法是在1986年由Rumelhart在《Learning Internal Representations by Error Propagation》一文中提出，如果你的論文中提到了BP算法，那這篇文章似乎是非引用不可的，它目前的引用量是19043次：

　　1.2 基于BP算法的CNN雛形

　　在BP算法提出3年之后，嗅覺敏銳的LeCun選擇將BP算法用于訓練多層卷積神經網絡來識別手寫數字，這可以說是CNN的雛形，具體參見文章《Backpropagation applied to handwritten zip code recognition》，這是卷積神經網絡這一概念提出的最早文獻，目前應用量為1594次：

　　1.3?LeNet-5模型的最終定型

　　?所有研究CNN的都必然知道LeNet-5模型，這是第一個正式的卷積神經網絡模型：

　　但你知道它是在什么時候被正式提出來的嗎？在1998年，作者還是LeCun，文章《Gradient-based learning applied to document recognition》，引用量4832次：

　　至此，LeNet-5模型的提出標志著CNN的正式成型，不幸的是接下來這個技術就被打入冷宮，原因如上文所說，它不僅吃設備，而且好的替代品還很多。

　　二、2006年

　　這一年可以說是DeepLearning覺醒的一年，標志就是Hinton在Science發(fā)文，指出“多隱層神經網絡具有更為優(yōu)異的特征學習能力，并且其在訓練上的復雜度可以通過逐層初始化來有效緩解”。這篇驚世駭俗之作名為《Reducing the dimensionality of data with neural networks》，目前引用量3210次：

　　至此，在GPU加速的硬件條件下，在大數據識別的應用背景下，DeepLearning、CNN再次起飛。

　　三、2012年~2014年

　　這段時間卷積神經網絡的相關研究已經進行的如火如荼，學術文獻呈井噴式層出不窮，具有代表性的我認為有兩個：2012年的ImageNet大賽和2014年的DeepFace、DeepID模型。

　　3.1 ImageNet競賽上CNN的一鳴驚人

　　可以說，2012年CNN在ImageNet競賽中的表現直接奠定了它的重要地位，兩個第一，正確率超出第二近10%，確實讓人大跌眼鏡。在文獻《Imagenet classification with deep convolutional neural networks》詳細介紹了相關的結構模型以及比賽結果，這篇文獻的作者是Hinton，目前引用量4412次：

　　3.2 DeepFace、DeepID

　　在2012年CNN一炮打響之后，其應用領域再也不只局限于手寫數字識別以及聲音識別了，人臉識別成為其重要的應用領域之一。在這期間DeepFace和DeepID作為兩個相對成功的高性能人臉識別與認證模型，成為CNN在人臉識別領域中的標志性研究成果。DeepFace由Taigman等人提出，發(fā)表在2014年的CVPR上，具體信息參見文章《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》，目前引用量548：

　　至于DeepID，這是由香港中文大學湯曉鷗教授的研究團隊提出，于2014年連發(fā)三箭，箭箭都正中靶心，分別是《Deep Learning Face Representation from Predicting 10,000 Classes》、《Deep learning face representation by joint identification-verification》、《Deeply learned face representations are sparse, selective, and robust》?目前引用量都在100~200次之間。需要強調的一點是作者在第三篇文章中對卷積神經網絡的內部結構進行了分析，試圖從理論上詮釋CNN的強大特征提取能力，這是學者第一次試圖去探索CNN的本質屬性，史無前例。

　　四、2015年~至今

　　卷積神經網絡自從2006年再度走進人們的視線，發(fā)展到現在已經快有十個年頭。2015年深度學習領域的三巨頭LeCun、Bengio 、Hinton在Nature上發(fā)表一篇綜述，系統的總結了深度學習的發(fā)展前世今生，文章寫得通俗易懂，全文幾乎都沒有什么公式，是一篇科普性較強的文章，個人覺得研究深度學習的人員都應該去讀一讀，題目也很簡潔，就叫《Deep Learning》，2015年發(fā)表，目前引用量已達321次：?

　　然后在2016年，CNN再次給人們一個驚喜：谷歌研發(fā)的基于深度神經網絡和搜索樹的智能機器人“阿爾法狗”在圍棋上擊敗了人類，更驚喜的是谷歌在Nature專門發(fā)表了一篇文章來解釋這個阿爾法狗，估計很多人都不知道，文章名字叫做《Mastering the game of Go with deep neural networks and tree search》，由于剛剛發(fā)表，引用次數僅為29次：

　　以上就是我自己對CNN的發(fā)展過程中一些標志性的經典文獻的一個小小總結，同時也是CNN發(fā)展歷程中的一個縮影，其中很多文獻都是在撰寫論文過程中必然要引用到的，希望對大家有所幫助。

　　五、注意事項

　　4.1 文獻提供

　　以上所提到的文獻在IEEE、谷歌等網站上均可以下載得到，當然實在找不到的話可以聯系我，我會及時提供相關文獻。

　　4.2 《Notes on Convolutional Neural Networks》

　　這篇文獻在谷歌上可以查到，具體如下：

　　遺憾的是筆者到現在也不知道這篇文章到底發(fā)表在那個期刊或者會議上，因此不方便在撰寫論文的過程中對其進行引用，不過這篇文章的質量確實相當高，對卷積神經網絡的前向/反向傳播原理都介紹得十分清楚，公式也非常規(guī)范，不失為一篇在卷積神經網絡入門階段的好文章，推薦大家閱讀。

　　4.3 引用量均來自于谷歌學術

　　上文中所提到的相關論文的引用次數均來源于谷歌學術所提供的數據，若有紕漏請大家多多包涵。

　　4.4 文獻閱讀筆記

　　上文提到的這幾篇文獻堪稱卷積神經網絡研究領域的經典文獻，引用次數都非常高。當然我也不是一開始就能如此抓到重點的去找到這些經典的東西，這都是在閱讀了一定數量的文獻，有了一定的區(qū)分能力之后才能做出的總結，至于自己在文獻調研中所走過的彎路就不再多說，這里將我研究生階段調研過的文獻情況奉上以供大家參考：文獻閱讀筆記。

　　4.5 卷積神經網絡與深度學習的概念

　　在這篇博文中我一會兒說卷積神經網絡模型，一會兒說深度學習模型，但需要強調的是這兩個概念并不是等價的，深度學習的概念要更為寬泛一些。經典的深度學習理論可分為卷積神經網絡、深度置信網絡以及自動編碼器，卷積神經網絡可以說是目前深度學習體系中研究最多、應用最為成功的一個模型，因此這個概念還是要區(qū)分清楚的。

總結

以上是生活随笔為你收集整理的深度学习卷积神经网络大事件一览的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。