历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战
生活随笔
收集整理的這篇文章主要介紹了
历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
2012 年,深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主 Geoffrey Hinton 的學(xué)生 Alex Krizhevsky 提出了 AlexNet,并在當(dāng)年度的 ILSVRC(ImageNet 大規(guī)模視覺挑戰(zhàn)賽)以顯著的優(yōu)勢(shì)獲得當(dāng)屆冠軍,成績(jī)遠(yuǎn)超第二名。這一成績(jī)引起了學(xué)界和業(yè)界的極大關(guān)注,計(jì)算機(jī)視覺也開始逐漸進(jìn)入深度學(xué)習(xí)主導(dǎo)的時(shí)代。但這樣一個(gè)劃時(shí)代的研究最近也受到了質(zhì)疑。近日,有網(wǎng)友在 reddit 上聲稱,Jurgen Schmidhuber 團(tuán)隊(duì)的 Dan Ciresan 提出的 DanNet(也是一種基于 CUDA 的卷積神經(jīng)網(wǎng)絡(luò))先于 AlexNet 完成了四項(xiàng)圖像識(shí)別挑戰(zhàn)。
DanNet 早于 AlexNet 的有力證據(jù)發(fā)帖者在在 reddit 中展示了如下一些證據(jù):1. 發(fā)帖者從 Jurgen 發(fā)表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章節(jié)的參考文獻(xiàn)中看出了端倪;
2. 發(fā)帖者表示,在 AlexNet(2012 年 ImageNet 競(jìng)賽冠軍)之前,Jurgen 團(tuán)隊(duì)的羅馬尼亞博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之間贏得了四項(xiàng)重要的計(jì)算機(jī)視覺競(jìng)賽,所采用的 CUDA CNN 姑且稱為 DanNet;
圖中紅框標(biāo)注的 IDSIA 即 Dan Ciresan 等人所在的團(tuán)隊(duì),他們?cè)?2011 年 5 月 15 日和 2012 年 9 月 10 日期間贏得了中文書寫、交通標(biāo)識(shí)、腦區(qū)域分割和癌癥檢測(cè)四項(xiàng)重要的計(jì)算機(jī)視覺競(jìng)賽。3. 發(fā)帖者曾看到有新聞報(bào)道稱,AlexNet 在 2012 年開啟了深度學(xué)習(xí)革命,但事實(shí)上根據(jù) Jurgen 的文章,DanNet 在 2011 年就成為首個(gè)贏得 superhuman 視覺模式識(shí)別競(jìng)賽的方法,并且還采用比 AlexNet 更大的圖像贏得了醫(yī)療成像競(jìng)賽;
Dan Ciresan 參與首次贏得了 superhuman 視覺模式識(shí)別競(jìng)賽。
Dan Ciresan 參與贏得了乳腺癌組織學(xué)圖像的有絲分裂檢測(cè)競(jìng)賽。4. DanNet 被引最多的論文《Multi-column Deep Neural Networks for Image Classification》(CVPR,2012 年 7 月)要比介紹 AlexNet 的論文《ImageNet Classification with Deep Convolutional Neural Networks》(NIPS,2012 年 12 月)早了 5 個(gè)月,但關(guān)于 DanNet 更早的論文出現(xiàn)在 IJCAI 2011 和 IJCNN 2011 會(huì)議上;
Dan Ciresan 的論文。
Alex Krizhevsky 的論文。5. 公平地說,AlexNet 引用了 DanNet,并承認(rèn)兩者相似,但 AlexNet 并沒有提到 DanNet 曾早于它贏得了四項(xiàng)計(jì)算機(jī)視覺挑戰(zhàn);6. ResNet 在 2015 年的 ImageNet 競(jìng)賽中擊敗了 AlexNet,但 ResNet 實(shí)際上是更為早期的 Highway networks 的一個(gè)特例,后者也是 Jurgen 實(shí)驗(yàn)室最早提出的,在「第一個(gè)超過 100 層的可行前向傳播網(wǎng)絡(luò)」中,Jurgen 把他們的先行性研究歸功于自己的學(xué)生 Rupesh Kumar Srivastava 和 Klaus Greff。
Jurgen 認(rèn)為微軟的 ResNet 是其團(tuán)隊(duì)提出 Highway Nets 的一種特例。7. 在 Jurgen 文章的第五章節(jié)中,他詳述了「GAN 的起源」,而在第四章節(jié)中,他介紹了 2009 年獲得成功的 LSTM。上述內(nèi)容大家已經(jīng)耳熟能詳,不過大多數(shù)人可能還不知道 Jurgen 團(tuán)隊(duì)還是第一個(gè)在 CUDA 上搞 CNN 并取得成功的。以上就是發(fā)帖者認(rèn)為 DanNet 先于 AlexNet 出現(xiàn)的一些文獻(xiàn)證據(jù)。世間欠 Schmidhuber 一個(gè)圖靈獎(jiǎng)?那么這樣看來,當(dāng)今深度學(xué)習(xí)的很多概念,都是 30 年前 LSTM 之父 Jürgen 玩過的?Reddit 上熱鬧的討論,源自于今年 10 月,Jürgen Schmidhuber 專門對(duì)此發(fā)表的一篇文章,其詳細(xì)論述了近 30 年前(1990-1991 年間)他和團(tuán)隊(duì)所進(jìn)行的很多研究。據(jù)他本人稱,其中的研究思想為當(dāng)今的許多深度學(xué)習(xí)前沿研究奠定了基礎(chǔ),包括 LSTM、元學(xué)習(xí)、遺忘門機(jī)制、注意力和強(qiáng)化學(xué)習(xí)等。人們對(duì)于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」,他來自德國(guó),現(xiàn)任瑞士 Dalle Molle 人工智能研究所負(fù)責(zé)人,是人工智能領(lǐng)域的著名學(xué)者。在 LSTM 之外,他還一直認(rèn)為近年來發(fā)展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的變體。除此之外,他還在語音識(shí)別等方向上有著不小的貢獻(xiàn)。在今年 3 月,計(jì)算機(jī)領(lǐng)域最高榮譽(yù)圖靈獎(jiǎng)?lì)C發(fā)給深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后,有關(guān)「學(xué)界欠 Jürgen 一座圖靈獎(jiǎng)」的討論一時(shí)變得熱鬧起來。人工智能著名學(xué)者,南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華也曾表示:「要論對(duì)深度學(xué)習(xí)的貢獻(xiàn),Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻(xiàn)都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對(duì)勁……獲獎(jiǎng)需有提名有投票,人緣也重要……不過沒關(guān)系,有 LSTM 這樣教科書級(jí)的貢獻(xiàn)足以淡定。」Jürgen 本人對(duì)于自身學(xué)術(shù)地位「遭受不公待遇」一直頗有微詞,他近年來總是在各個(gè)場(chǎng)合宣揚(yáng)自己的創(chuàng)造性研究,甚至不惜與其他著名學(xué)者公開對(duì)質(zhì)(你或許會(huì)對(duì) Jürgen 在人工智能頂會(huì) NIPS 2016 現(xiàn)場(chǎng)大戰(zhàn)「GAN 之父」Ian Goodfellow 的事件記憶猶新)。因此,人們對(duì)于 Jürgen 的看法也呈現(xiàn)兩極分化的情形。今天的討論也沒有例外,在 DanNet 超前于 AlexNet 討論剛剛開始的時(shí)候,占上風(fēng)的觀點(diǎn)是這樣的:
好了好了,Jürgen 就是我們的造物主。但總的來說,對(duì)于個(gè)人性格的調(diào)侃還是要讓位于理性,人們最終還是認(rèn)為 Jürgen Schmidhuber 確實(shí)吃了名聲的虧。正視他的貢獻(xiàn)吧,網(wǎng)友說道:雖然我們都在幸災(zāi)樂禍,但 Jürgen 的確配得上獲得圖靈獎(jiǎng)。在 LSTM 之外,他的很多研究都令人印象深刻。在計(jì)算機(jī)科學(xué)領(lǐng)域里,有很多個(gè)性乖張的學(xué)者,特立獨(dú)行總是不受歡迎的。但我總是奇怪人們會(huì)拿這個(gè)理由來評(píng)判他們的學(xué)術(shù)貢獻(xiàn)。我認(rèn)為目前以北美為中心的 CS 學(xué)術(shù)體系完全壓制了全球其他研究機(jī)構(gòu)類似的貢獻(xiàn)。
參考鏈接:https://www.reddit.com/r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/http://blog.itpub.net/31077337/viewspace-2158712/
————
編輯?∑Gemini
?來源:機(jī)器之心
?一盤紅燒肉告訴你:本科、碩士、博士,區(qū)別在哪兒??現(xiàn)代數(shù)學(xué)確實(shí)在改變世界?數(shù)學(xué)家們的故事?經(jīng)典 | 奇異值分解(SVD) 的 幾何意義?算法你都懂_如何一年賺它幾百萬?他的科學(xué)生涯堪稱加速器,30歲當(dāng)博導(dǎo),38歲當(dāng)選中科院院士,40歲當(dāng)選德國(guó)科學(xué)院院士。。。算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿
稿件涉及數(shù)學(xué)、物理、算法、計(jì)算機(jī)、編程等相關(guān)領(lǐng)域,經(jīng)采用我們將奉上稿酬。
投稿郵箱:math_alg@163.com
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 15 位健在的牛叉程序员,你知道哪几位?
- 下一篇: 屠呦呦凭什么获诺奖?