來自｜知乎 ?整理｜深度學習技術前沿? 深度學習這件小事

【導讀】本文結合總結梳理了知乎上“引用次數在15000次以上的都是什么論文？”這一問題的經典回答，希望能幫助到各位進一步了解領域內的相關進展。并且通過閱讀這些經典論文或許也會給您帶來不少啟發。

作者：小牧牧

https://www.zhihu.com/question/433702668/answer/1617092684

1. 機器學習領域

我來列舉一些機器學習(Machine Learning)領域的高被引文章。

機器學習領域泰斗級學者Geoffrey Hinton的文章引用:

引用次數超過15000次文章有6篇。

ImageNet Classification with Deep Convolutional Neural Networks，引用75231次（AlexNet，點燃了深度學習的熱潮，因此2012年被認為是深度學習元年，當然要十分感謝ImageNet和GPU的加持）；

Learning internal representations by error-propagation?&?Learning representations by back-propagating errors，引用50716次（BP算法，殿堂級別的成果，幾乎所有關于神經網絡的文章都會用到BP算法）；

Deep learning，引用33222次（“三巨頭”關于深度學習的綜述文章）；

Dropout: a simple way to prevent neural networks from overfitting，引用24452次（Dropout是一種防止深度學習模型過擬合的正則化方法，目前已被Google申請專利，面對封鎖，華為諾亞實驗室開源了Disout算法，直接對標Google的Dropout）；

Visualizing data using t-SNE，引用16957次（t-SNE是一種流形學習方法，用于數據降維和可視化）。

Geoffrey Hinton谷歌學術引用次數

---

在機器學習領域還有一個泰斗級的人物Jürgen Schmidhuber，他的一篇文章Long short-term memory目前的引用量是40934次，是深度學習-循環神經網絡(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y，Bengio Y和Hinton G在2015年發表在Nature上的文章Deep learning作者中沒有Jürgen Schmidhuber，不過Schmidhuber在2015也發表了一篇關于深度學習的綜述文章Deep learning in neural networks: An overview，目前的引用量是10917。后來，“三巨頭“獲得了2018年的“圖靈獎”，Schmidhuber和“三巨頭“在網絡上因為“成果引用”和“成果認定”發生了大量的口水戰，這些都是后話了。

---

機器學習領域還有一些重要的成果，對應的文章也有不俗的引用量。比如：

• 一直被對比，從未被超越的Adam，目前的引用量是60604次；

• 使神經網絡訓練更快、更穩定的Batch normalization，目前的引用量是22986次；

• 避免深層網絡訓練時梯度消失或梯度爆炸的激活函數—線性整流函數ReLU（Rectified linear units improve restricted boltzmann machines），目前的引用量是11548次。

• Zisserman在2014年發表的關于VGGNet的文章Very deep convolutional networks for large-scale image recognition，目前的引用量是48691次。Google在2015年發表的關于GoogLeNet的文章Going deeper with convolutions，目前的引用量是26353次。何凱明2016年的文章Deep residual learning for image recognition，提出的多達152層ResNet，目前的引用量是63253次。2016年提出的用于目標檢測的Faster R-CNN，目前的引用量是24215次。

女神李飛飛構建的ImageNet是計算機視覺(Computer vision)領域非常著名的大型數據集，關于ImageNet的論文ImageNet: A large-scale hierarchical image database發表時間是2009年，目前的引用量是23395次，AlexNet就是在2012年ImageNet大規模視覺識別挑戰賽(ILSVRC)上一舉成名，自此點燃了深度學習的熱潮，可見大規模數據對于深度學習的重要性。

經常被調侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次，這篇文章提出的Transformer是自然語言處理(NLP)領域的重要成果，它的出現迅速取代了LSTM在NLP領域的霸主地位，像BERT、GPT這樣的SOTA模型均采用Transformer。NLP領域的另一個重量級成果是word2vec，作者是來自Google的Tomas Mikolov，關于word2vec的兩篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分別是24323次和19220次（感謝@ccking的提醒），其實我一直覺得NLP比圖像處理問題復雜的多，最讓人頭疼的莫過于如何將語言數字化，我對此的了解僅限于One-hot encoding，實在是太難了。

谷歌大神Ian Goodfellow的關于GAN的文章Generative adversarial nets目前的引用量是25592次，關于GAN究竟是誰提出來的我就不得而知了，但是Schmidhuber在這個問題上肯定有很多話要說，至于Schmidhuber究竟說了些啥，參見：鄭華濱：從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念（文字版）。

Hinton老爺子在2006年提出的深度置信網絡(DBN)被普遍認為是深度學習的前夕，關于DBN的兩篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分別是14370次和13659次，DBN是Hinton老爺子最引以為傲的成果，它是一種由多個限制玻爾茲曼機(RBM)堆棧而成的概率生成模型，是最初訓練深度網絡的一種方法，盡管目前深度學習模型不再需要這種預訓練，但它的思想仍然影響著當前的研究工作。

2.?計算機視覺領域

這里重點盤點一下AI領域，特別是CV方向的論文。

值得說一下，自從2012年，特別是2014年后，AI領域再度火爆，延續至今，很多優秀論文（特別是基于深度學習）也是發表在這個期間，引用量也迅速爆炸。

• 注：下面會邊介紹作者，邊介紹論文，側重點有點不同。

計算機視覺領域引用量1.5萬+的論文

Andrew Zisserman（傳聞歐洲計算機視覺第一人）

第一篇引用量近5萬的是：深度學習時代的經典backbone模型VGG：Very deep convolutional networks for large-scale image recognition

第二篇引用量近3萬，這其實是一本書《Multiple view geometry in computer vision》，可稱為深度學習時代前的CV必讀之作（現在其實也強推，但不少新入坑CV的人，直接跳過這些基礎知識，去玩CNN了）

Jitendra Malik

加州大學伯克利分校的電子工程與計算機科學系(EECS)教授 Jitendra Malik獲頒 2019 年 IEEE 計算機先驅獎。

第一篇引用量近4萬，算是12年之前人工智能最經典的書籍，內容覆蓋范圍相當之廣。不過Jitendra Malik并非一二作，所以搜索該書的時候，不容易看到他的名字。

第二篇引用量近1.7萬，基于傳統方法的圖像分割代表作！

下面說說深度學習三巨頭（Hinton、Bengio和LeCun）

Geoffrey Hinton

Hinton老爺子的代表作太多了，1.5萬+引用量的論文見下圖（6篇）。比如

第一篇引用量7.5萬+，發表于2012年的AlexNet！永遠滴神！

第二篇引用量3.3萬+，是為了紀念人工智能60周年，深度學習三巨頭合作在Nature上發表深度學習的綜述性文章：Deep Learning

還有4篇破1.5萬引用量的論文，這里不贅述，膜拜即可！

Yoshua Bengio

Bengio教授的代表作也太多了，1.5萬+引用量的論文見下圖（5篇）。比如：

第一篇上面說過了，是深度學習三巨頭合著的。

第二篇引用量3萬+，這是和LeCun提出了當時風靡一時的字符識別器（當時就是典型落地應用）

第三篇引用量2.5萬+，這是和Goodfellow提出了鼎鼎大名的GAN！

第四篇引用量2萬+，這是和Goodfellow發布了深度學習時代的"圣經"書籍：Deep Learning，國內不少人又稱為花書。

Yann LeCun

LeCun大佬的兩篇破1.5萬的工作，上面已經介紹了。

Luc Van Gool

Luc Van Gool 蘇黎世聯邦理工學院教授，據了解，有若干中國學生曾師從于他。

這篇近3萬引用量就是非常著名的SURF算法

上面提到SURF算法，就不得不提SIFT算法。

David Lowe

SIFT算法引用量近6萬！其是手工特征時代的最具代表性工作！SURF、ORB在它面前都是弟弟，截止目前SIFT仍被廣泛應用，相當能打！

Trevor Darrell

第一篇引用量近2萬，鼎鼎大名的基于FCN的語義分割網絡！

第二篇引用量1.5萬+，鼎鼎大名的R-CNN目標檢測網絡。

李飛飛（Li Fei-Fei）

李飛飛女神，創建了ImageNet數據集和相關賽事~ 影響力巨大

上述主要是AI、CV領域的大前輩（年齡基本40+），這里重點介紹幾位"新秀"：

何愷明（Kaiming He）

做CV的應該都聽過何愷明，有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。

第一篇是目前CV主流使用的backbone：ResNet，永遠滴神！

第二篇是目標檢測領域代表性網絡：Faster R-CNN

估計17年發表的Mask R-CNN 也快破1.5萬引用量了

Ross Girshick

他與何愷明算是合作搭檔，都在FAIR工作，有不少合作的工作。

有鼎鼎大名的R-CNN系列工作，合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。

Ian Goodfellow

GAN 之父！下面三個工作都是目前頂級活躍的，比如GAN、Deep Learning書籍和TensorFlow框架

任少卿（Shaoqing Ren）

Faster R-CNN一作！貌似現在不做研究了，主要在企業（目前在蔚來）擔任技術主管/副總裁。

其實CV領域還有很多超1.5萬的論文，限于篇幅這里就不一一盤點：

作者：BeyondSelf

https://www.zhihu.com/question/433702668/answer/1624083551

著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

我梳理一下通信和圖像處理方面，讀過的一些經典的，超過15000引用的論文.

1. A Mathematical theory of communication

引用次數：78680

評價：開創了信息論，直接奠定了通信的發展，大名鼎鼎的香農三定理和熵的概念就是在這篇文章中提出的。沒有它，就沒有WiFi和5G，也沒有我們刷著知乎聽著歌

2.?A combined coerner and edge detector

引用次數：18167

評價：提出了角點特征，能夠檢測圖片中的角點、邊緣和圖片。是圖像特征提取的代表作，是圖像分割、匹配等的基礎。

3.?Distinctive image features from scale-invariant keypoints

引用次數：59561

評價：大名鼎鼎的SIFT特征，具有尺度、方向、仿射不變性，和上一篇論文的Haris特征一起，成為圖像特征提取的兩個最重要技術。

4.?Object recognition from local scale-invariant features

引用次數：20100

評價：David Lowe的另一篇文章，說的是利用尺度不變特征來進行目標識別

5.?Compressed Sensing

引用次數：27557

評價：壓縮感知的代表作之一，將采樣和壓縮過程結合起來同時進行，直接對信號的稀疏性進行感知。

6.?Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information

引用次數：16700

評價：壓縮感知的另一篇代表作

7. ?A new approach to linear filtering and prediction problems

引用次數：35070

評價：提出了著名的卡爾曼濾波。如果你沒聽說過卡爾曼濾波不要僅，但你一定點過外賣，打過滴滴，甚至美國阿波羅號上天也用過它，根據測量值和狀態方程修正真實值，就是它干的事情，

8. A computational approach to edge detection

引用次數：35942

評價：邊緣檢測的另一篇代表作

9. Gradient-based learning applied to document recognition

引用次數：32192

評價：LeCun的經典論文，做過機器學習的都知道，沒做過機器學習的也一般聽說過MNIST數據集

作者：遠處群山

https://www.zhihu.com/question/433702668/answer/1622573162

著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

引用一萬五千次以上的論文相當罕見，基本上都屬于開山之作，開創了某個中等或者大領域的作品。也可以說是養活了很多人的作品...

現在深度學習的論文里15000次引用的挺多的，看到也有其他答主總結了，我就重點說下信號處理和圖像處理的經典論文，

壓縮感知的兩篇開山之作：

• Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次引用

• Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次引用

統計學習里大名鼎鼎的LASSO：

• Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 引用35000次

統計學習的圣典：

• Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273-297.

圖像分割的開山之作normalized cut：

• Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 引用16000次

同樣來自Malik老師的圖像去噪神作——擴散濾波，威名赫赫的Perona-Malik模型，多少PDE-based image processing methods就是源自這里：

• Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 引用15000次

圖像去噪的又一神作，超級經典的全變差模型：

• Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 引用15000次

無比經典的SIFT圖像特征檢測以及方向梯度直方圖（HOG）模型，做圖像處理的應該沒有不知道這兩個的：

• Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次引用

• Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, 2005, 1: 886-893. 32000次引用

做圖像恢復的人肯定都知道SSIM這個指標，出自這篇文章：

• Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 引用27000

大家還知道哪些引用率超高的重量級文章呢？歡迎在留言區討論！

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼： 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【深度学习】引用次数在15000次以上的都是什么神仙论文？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。