2012 年，深度學習三巨頭之一、圖靈獎得主 Geoffrey Hinton 的學生 Alex Krizhevsky 提出了 AlexNet，并在當年度的 ILSVRC（ImageNet 大規(guī)模視覺挑戰(zhàn)賽）以顯著的優(yōu)勢獲得當屆冠軍，成績遠超第二名。這一成績引起了學界和業(yè)界的極大關(guān)注，計算機視覺也開始逐漸進入深度學習主導的時代。但這樣一個劃時代的研究最近也受到了質(zhì)疑。近日，有網(wǎng)友在 reddit 上聲稱，Jurgen Schmidhuber 團隊的 Dan Ciresan 提出的 DanNet（也是一種基于 CUDA 的卷積神經(jīng)網(wǎng)絡(luò)）先于 AlexNet 完成了四項圖像識別挑戰(zhàn)。

DanNet 早于 AlexNet 的有力證據(jù)

發(fā)帖者在在 reddit 中展示了如下一些證據(jù)：

1. 發(fā)帖者從 Jurgen 發(fā)表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章節(jié)的參考文獻中看出了端倪；
2. 發(fā)帖者表示，在 AlexNet（2012 年 ImageNet 競賽冠軍）之前，Jurgen 團隊的羅馬尼亞博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之間贏得了四項重要的計算機視覺競賽，所采用的 CUDA CNN 姑且稱為 DanNet；

圖中紅框標注的 IDSIA 即 Dan Ciresan 等人所在的團隊，他們在 2011 年 5 月 15 日和 2012 年 9 月 10 日期間贏得了中文書寫、交通標識、腦區(qū)域分割和癌癥檢測四項重要的計算機視覺競賽。

3. 發(fā)帖者曾看到有新聞報道稱，AlexNet 在 2012 年開啟了深度學習革命，但事實上根據(jù) Jurgen 的文章，DanNet 在 2011 年就成為首個贏得 superhuman 視覺模式識別競賽的方法，并且還采用比 AlexNet 更大的圖像贏得了醫(yī)療成像競賽；

Dan Ciresan 參與首次贏得了 superhuman 視覺模式識別競賽。

Dan Ciresan 參與贏得了乳腺癌組織學圖像的有絲分裂檢測競賽。

4. DanNet 被引最多的論文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介紹 AlexNet 的論文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 個月，但關(guān)于 DanNet 更早的論文出現(xiàn)在 IJCAI 2011 和 IJCNN 2011 會議上；

Dan Ciresan 的論文。

Alex Krizhevsky 的論文。

5. 公平地說，AlexNet 引用了 DanNet，并承認兩者相似，但 AlexNet 并沒有提到 DanNet 曾早于它贏得了四項計算機視覺挑戰(zhàn)；

6. ResNet 在 2015 年的 ImageNet 競賽中擊敗了 AlexNet，但 ResNet 實際上是更為早期的 Highway networks 的一個特例，后者也是 Jurgen 實驗室最早提出的，在「第一個超過 100 層的可行前向傳播網(wǎng)絡(luò)」中，Jurgen 把他們的先行性研究歸功于自己的學生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 認為微軟的 ResNet 是其團隊提出 Highway Nets 的一種特例。

7. 在 Jurgen 文章的第五章節(jié)中，他詳述了「GAN 的起源」，而在第四章節(jié)中，他介紹了 2009 年獲得成功的 LSTM。上述內(nèi)容大家已經(jīng)耳熟能詳，不過大多數(shù)人可能還不知道 Jurgen 團隊還是第一個在 CUDA 上搞 CNN 并取得成功的。

以上就是發(fā)帖者認為 DanNet 先于 AlexNet 出現(xiàn)的一些文獻證據(jù)。

世間欠 Schmidhuber 一個圖靈獎？

那么這樣看來，當今深度學習的很多概念，都是 30 年前 LSTM 之父 Jürgen 玩過的？Reddit 上熱鬧的討論，源自于今年 10 月，Jürgen Schmidhuber 專門對此發(fā)表的一篇文章，其詳細論述了近 30 年前（1990-1991 年間）他和團隊所進行的很多研究。據(jù)他本人稱，其中的研究思想為當今的許多深度學習前沿研究奠定了基礎(chǔ)，包括 LSTM、元學習、遺忘門機制、注意力和強化學習等。

人們對于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」，他來自德國，現(xiàn)任瑞士 Dalle Molle 人工智能研究所負責人，是人工智能領(lǐng)域的著名學者。在 LSTM 之外，他還一直認為近年來發(fā)展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的變體。除此之外，他還在語音識別等方向上有著不小的貢獻。

在今年 3 月，計算機領(lǐng)域最高榮譽圖靈獎頒發(fā)給深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后，有關(guān)「學界欠 Jürgen 一座圖靈獎」的討論一時變得熱鬧起來。

人工智能著名學者，南京大學人工智能學院院長周志華也曾表示：「要論對深度學習的貢獻，Hinton 無疑居首，LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對勁……獲獎需有提名有投票，人緣也重要……不過沒關(guān)系，有 LSTM 這樣教科書級的貢獻足以淡定。」

Jürgen 本人對于自身學術(shù)地位「遭受不公待遇」一直頗有微詞，他近年來總是在各個場合宣揚自己的創(chuàng)造性研究，甚至不惜與其他著名學者公開對質(zhì)（你或許會對 Jürgen 在人工智能頂會 NIPS 2016 現(xiàn)場大戰(zhàn)「GAN 之父」Ian Goodfellow 的事件記憶猶新）。因此，人們對于 Jürgen 的看法也呈現(xiàn)兩極分化的情形。

今天的討論也沒有例外，在 DanNet 超前于 AlexNet 討論剛剛開始的時候，占上風的觀點是這樣的：

好了好了，Jürgen 就是我們的造物主。

但總的來說，對于個人性格的調(diào)侃還是要讓位于理性，人們最終還是認為 Jürgen Schmidhuber 確實吃了名聲的虧。

正視他的貢獻吧，網(wǎng)友說道：

雖然我們都在幸災(zāi)樂禍，但 Jürgen 的確配得上獲得圖靈獎。在 LSTM 之外，他的很多研究都令人印象深刻。

在計算機科學領(lǐng)域里，有很多個性乖張的學者，特立獨行總是不受歡迎的。但我總是奇怪人們會拿這個理由來評判他們的學術(shù)貢獻。

我認為目前以北美為中心的 CS 學術(shù)體系完全壓制了全球其他研究機構(gòu)類似的貢獻。

參考鏈接：https://www.reddit.com/r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/http://blog.itpub.net/31077337/viewspace-2158712/

————

編輯?∑Gemini

?來源：機器之心

?一盤紅燒肉告訴你：本科、碩士、博士，區(qū)別在哪兒？?現(xiàn)代數(shù)學確實在改變世界?數(shù)學家們的故事?經(jīng)典 | 奇異值分解(SVD) 的 幾何意義?算法你都懂_如何一年賺它幾百萬?他的科學生涯堪稱加速器，30歲當博導，38歲當選中科院院士，40歲當選德國科學院院士。。。

算法數(shù)學之美微信公眾號歡迎賜稿

稿件涉及數(shù)學、物理、算法、計算機、編程等相關(guān)領(lǐng)域，經(jīng)采用我們將奉上稿酬。

投稿郵箱：math_alg@163.com

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。