日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战

發(fā)布時(shí)間:2024/8/23 编程问答 40 豆豆
生活随笔 收集整理的這篇文章主要介紹了 历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.


2012 年,深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主 Geoffrey Hinton 的學(xué)生 Alex Krizhevsky 提出了 AlexNet,并在當(dāng)年度的 ILSVRC(ImageNet 大規(guī)模視覺挑戰(zhàn)賽)以顯著的優(yōu)勢(shì)獲得當(dāng)屆冠軍,成績(jī)遠(yuǎn)超第二名。這一成績(jī)引起了學(xué)界和業(yè)界的極大關(guān)注,計(jì)算機(jī)視覺也開始逐漸進(jìn)入深度學(xué)習(xí)主導(dǎo)的時(shí)代。但這樣一個(gè)劃時(shí)代的研究最近也受到了質(zhì)疑。近日,有網(wǎng)友在 reddit 上聲稱,Jurgen Schmidhuber 團(tuán)隊(duì)的 Dan Ciresan 提出的 DanNet(也是一種基于 CUDA 的卷積神經(jīng)網(wǎng)絡(luò))先于 AlexNet 完成了四項(xiàng)圖像識(shí)別挑戰(zhàn)。

DanNet 早于 AlexNet 的有力證據(jù)

發(fā)帖者在在 reddit 中展示了如下一些證據(jù):

1. 發(fā)帖者從 Jurgen 發(fā)表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章節(jié)的參考文獻(xiàn)中看出了端倪;
2. 發(fā)帖者表示,在 AlexNet(2012 年 ImageNet 競(jìng)賽冠軍)之前,Jurgen 團(tuán)隊(duì)的羅馬尼亞博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之間贏得了四項(xiàng)重要的計(jì)算機(jī)視覺競(jìng)賽,所采用的 CUDA CNN 姑且稱為 DanNet;

圖中紅框標(biāo)注的 IDSIA 即 Dan Ciresan 等人所在的團(tuán)隊(duì),他們?cè)?2011 年 5 月 15 日和 2012 年 9 月 10 日期間贏得了中文書寫、交通標(biāo)識(shí)、腦區(qū)域分割和癌癥檢測(cè)四項(xiàng)重要的計(jì)算機(jī)視覺競(jìng)賽。

3. 發(fā)帖者曾看到有新聞報(bào)道稱,AlexNet 在 2012 年開啟了深度學(xué)習(xí)革命,但事實(shí)上根據(jù) Jurgen 的文章,DanNet 在 2011 年就成為首個(gè)贏得 superhuman 視覺模式識(shí)別競(jìng)賽的方法,并且還采用比 AlexNet 更大的圖像贏得了醫(yī)療成像競(jìng)賽;

Dan Ciresan 參與首次贏得了 superhuman 視覺模式識(shí)別競(jìng)賽。

Dan Ciresan 參與贏得了乳腺癌組織學(xué)圖像的有絲分裂檢測(cè)競(jìng)賽。

4. DanNet 被引最多的論文《Multi-column Deep Neural Networks for Image Classification》(CVPR,2012 年 7 月)要比介紹 AlexNet 的論文《ImageNet Classification with Deep Convolutional Neural Networks》(NIPS,2012 年 12 月)早了 5 個(gè)月,但關(guān)于 DanNet 更早的論文出現(xiàn)在 IJCAI 2011 和 IJCNN 2011 會(huì)議上;

Dan Ciresan 的論文。

Alex Krizhevsky 的論文。

5. 公平地說,AlexNet 引用了 DanNet,并承認(rèn)兩者相似,但 AlexNet 并沒有提到 DanNet 曾早于它贏得了四項(xiàng)計(jì)算機(jī)視覺挑戰(zhàn);

6. ResNet 在 2015 年的 ImageNet 競(jìng)賽中擊敗了 AlexNet,但 ResNet 實(shí)際上是更為早期的 Highway networks 的一個(gè)特例,后者也是 Jurgen 實(shí)驗(yàn)室最早提出的,在「第一個(gè)超過 100 層的可行前向傳播網(wǎng)絡(luò)」中,Jurgen 把他們的先行性研究歸功于自己的學(xué)生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 認(rèn)為微軟的 ResNet 是其團(tuán)隊(duì)提出 Highway Nets 的一種特例。

7. 在 Jurgen 文章的第五章節(jié)中,他詳述了「GAN 的起源」,而在第四章節(jié)中,他介紹了 2009 年獲得成功的 LSTM。上述內(nèi)容大家已經(jīng)耳熟能詳,不過大多數(shù)人可能還不知道 Jurgen 團(tuán)隊(duì)還是第一個(gè)在 CUDA 上搞 CNN 并取得成功的。

以上就是發(fā)帖者認(rèn)為 DanNet 先于 AlexNet 出現(xiàn)的一些文獻(xiàn)證據(jù)。

世間欠 Schmidhuber 一個(gè)圖靈獎(jiǎng)?

那么這樣看來,當(dāng)今深度學(xué)習(xí)的很多概念,都是 30 年前 LSTM 之父 Jürgen 玩過的?Reddit 上熱鬧的討論,源自于今年 10 月,Jürgen Schmidhuber 專門對(duì)此發(fā)表的一篇文章,其詳細(xì)論述了近 30 年前(1990-1991 年間)他和團(tuán)隊(duì)所進(jìn)行的很多研究。據(jù)他本人稱,其中的研究思想為當(dāng)今的許多深度學(xué)習(xí)前沿研究奠定了基礎(chǔ),包括 LSTM、元學(xué)習(xí)、遺忘門機(jī)制、注意力和強(qiáng)化學(xué)習(xí)等。

人們對(duì)于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」,他來自德國(guó),現(xiàn)任瑞士 Dalle Molle 人工智能研究所負(fù)責(zé)人,是人工智能領(lǐng)域的著名學(xué)者。在 LSTM 之外,他還一直認(rèn)為近年來發(fā)展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的變體。除此之外,他還在語音識(shí)別等方向上有著不小的貢獻(xiàn)。

在今年 3 月,計(jì)算機(jī)領(lǐng)域最高榮譽(yù)圖靈獎(jiǎng)?lì)C發(fā)給深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后,有關(guān)「學(xué)界欠 Jürgen 一座圖靈獎(jiǎng)」的討論一時(shí)變得熱鬧起來。

人工智能著名學(xué)者,南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華也曾表示:「要論對(duì)深度學(xué)習(xí)的貢獻(xiàn),Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻(xiàn)都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對(duì)勁……獲獎(jiǎng)需有提名有投票,人緣也重要……不過沒關(guān)系,有 LSTM 這樣教科書級(jí)的貢獻(xiàn)足以淡定。」

Jürgen 本人對(duì)于自身學(xué)術(shù)地位「遭受不公待遇」一直頗有微詞,他近年來總是在各個(gè)場(chǎng)合宣揚(yáng)自己的創(chuàng)造性研究,甚至不惜與其他著名學(xué)者公開對(duì)質(zhì)(你或許會(huì)對(duì) Jürgen 在人工智能頂會(huì) NIPS 2016 現(xiàn)場(chǎng)大戰(zhàn)「GAN 之父」Ian Goodfellow 的事件記憶猶新)。因此,人們對(duì)于 Jürgen 的看法也呈現(xiàn)兩極分化的情形。

今天的討論也沒有例外,在 DanNet 超前于 AlexNet 討論剛剛開始的時(shí)候,占上風(fēng)的觀點(diǎn)是這樣的:

好了好了,Jürgen 就是我們的造物主。

但總的來說,對(duì)于個(gè)人性格的調(diào)侃還是要讓位于理性,人們最終還是認(rèn)為 Jürgen Schmidhuber 確實(shí)吃了名聲的虧。

正視他的貢獻(xiàn)吧,網(wǎng)友說道:

雖然我們都在幸災(zāi)樂禍,但 Jürgen 的確配得上獲得圖靈獎(jiǎng)。在 LSTM 之外,他的很多研究都令人印象深刻。

在計(jì)算機(jī)科學(xué)領(lǐng)域里,有很多個(gè)性乖張的學(xué)者,特立獨(dú)行總是不受歡迎的。但我總是奇怪人們會(huì)拿這個(gè)理由來評(píng)判他們的學(xué)術(shù)貢獻(xiàn)。

我認(rèn)為目前以北美為中心的 CS 學(xué)術(shù)體系完全壓制了全球其他研究機(jī)構(gòu)類似的貢獻(xiàn)。


參考鏈接:https://www.reddit.com/r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/http://blog.itpub.net/31077337/viewspace-2158712/

————

編輯?∑Gemini

?來源:機(jī)器之心

?一盤紅燒肉告訴你:本科、碩士、博士,區(qū)別在哪兒??現(xiàn)代數(shù)學(xué)確實(shí)在改變世界?數(shù)學(xué)家們的故事?經(jīng)典 | 奇異值分解(SVD) 的 幾何意義?算法你都懂_如何一年賺它幾百萬?他的科學(xué)生涯堪稱加速器,30歲當(dāng)博導(dǎo),38歲當(dāng)選中科院院士,40歲當(dāng)選德國(guó)科學(xué)院院士。。。

算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿

稿件涉及數(shù)學(xué)、物理、算法、計(jì)算機(jī)、編程等相關(guān)領(lǐng)域,經(jīng)采用我們將奉上稿酬。

投稿郵箱:math_alg@163.com

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的历史需要重写?AlexNet之前,早有算法完成计算机视觉四大挑战的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。