深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战
在過去的三十年，深度學(xué)習(xí)運動一度被認(rèn)為是學(xué)術(shù)界的一個異類，但是現(xiàn)在，?Geoff Hinton（如圖1）和他的深度學(xué)習(xí)同事，包括紐約大學(xué)Yann LeCun和蒙特利爾大學(xué)的Yoshua Bengio，在互聯(lián)網(wǎng)世界受到前所未有的關(guān)注。Hinton是加拿大多倫多大學(xué)教授和研究員，目前就職于Google，他利用深度學(xué)習(xí)技術(shù)來提高語音識別、圖像標(biāo)簽以及其他無數(shù)在線工具的用戶體驗，LeCun在Facebook做類似的工作。當(dāng)下人工智能在微軟、IBM以及百度和許多其它公司受到極大的關(guān)注。
我非常興奮，我們發(fā)現(xiàn)一種可以使神經(jīng)網(wǎng)絡(luò)變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候——Geoff Hinton?
Geoff Hinton?等人親手締造了深度學(xué)習(xí)的復(fù)興
Hinton本科階段在劍橋?qū)W習(xí)心理學(xué)，他意識到科學(xué)家們并沒有真正理解大腦——不能完全掌握數(shù)十億神經(jīng)元之間的交互以及如何提升智力。這些科學(xué)家可以解釋電信號沿著一個軸突連接一個神經(jīng)元到另一個，但他們無法解釋這些神經(jīng)元是如何學(xué)習(xí)或計算的。Hinton認(rèn)為這些都是大問題，答案可能最終讓我們實現(xiàn)1950年代人工智能研究人員的夢想。
?
圖1： Geoff Hinton（AI領(lǐng)袖級人物，目前就職于Google）?
他也沒有答案，但他將盡全力尋找答案，至少改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)可以模擬人腦的某些方面。“我非常興奮，我們發(fā)現(xiàn)一種可以使神經(jīng)網(wǎng)絡(luò)變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，”Hinton說，洋溢著青春的熱情。
這些人工神經(jīng)網(wǎng)絡(luò)可以收集信息，并且能夠做出反應(yīng)，它們可以理解東西看起來什么樣或聽起來像什么。當(dāng)你將單詞組合起來，它們在做決定的時候會變得更聰明，而在完成這些過程中不需要人類提供物體或?qū)ο蟮臉?biāo)簽，這是傳統(tǒng)的的機器學(xué)習(xí)工具做不到的。
隨著人工智能的發(fā)展，這些神經(jīng)網(wǎng)絡(luò)將更加快速、靈活、高效，它們隨著機器規(guī)模的增加而變得更加聰明，隨著時間的推移將能夠解決越來越多的復(fù)雜任務(wù)。
早在80年代初，當(dāng)Hinton和同事開始這個想法時，那時的電腦性能還遠(yuǎn)遠(yuǎn)不能處理神經(jīng)網(wǎng)絡(luò)需要的巨大數(shù)據(jù)集，成功是有限的，隨后人工智能社區(qū)背棄了他們，轉(zhuǎn)而去尋找類人腦的捷徑，而不是嘗試模仿大腦的運作。
但仍然有一些研究人員堅定地支持Hinton的工作。根據(jù)Hinton和LeCun回憶，這極為艱難，甚至直到2004年——已經(jīng)是Hinton和LeCun第一次開發(fā)“反向傳播”算法神經(jīng)網(wǎng)絡(luò)20年之后了——學(xué)術(shù)界對這些毫無興趣。
但是那一年，從加拿大先進(jìn)項目研究所（CIFAR）拿到的極少量資金，并在LeCun以及?Bengio?的支持下，Hinton建立了神經(jīng)計算和自適應(yīng)感知項目，這個項目只邀請一些計算機科學(xué)家、生物學(xué)家、電氣工程師、神經(jīng)科學(xué)家、物理學(xué)家和心理學(xué)家。
通過招聘這些研究人員，Hinton旨在創(chuàng)建一個世界級的團(tuán)隊，致力于創(chuàng)建模擬生物智能的模擬——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應(yīng)對它的環(huán)境。Hinton認(rèn)為建立這樣一個組織會刺激人工智能領(lǐng)域的創(chuàng)新，甚至改變世界，事實證明，他是對的。
Geoffrey Hinton 曾感慨自己的學(xué)術(shù)生涯就像 ANN （人工神經(jīng)網(wǎng)絡(luò)）一樣起起伏伏，所幸的是，這位 Gatsby 的創(chuàng)立者一直沒有放棄 ANN 的研究。他們?yōu)閷崿F(xiàn)早期的想法，定期聚集在一起召開研討會，構(gòu)建了更強大的深度學(xué)習(xí)算法，操作更大的數(shù)據(jù)集。期間贏得全球人工智能比賽，再然后互聯(lián)網(wǎng)的巨頭開始注意到他們。
2011年，一位NCAP研究員和斯坦福的Andrew Ng在Google建立了深度學(xué)習(xí)項目，今天，公司用神經(jīng)網(wǎng)絡(luò)在Android手機和社交網(wǎng)絡(luò)以及Google +上標(biāo)記圖像。去年，Hinton加入Google公司，其目的是進(jìn)一步把這項工作做的更為深入。
每年不到一百萬美元的CIFAR投資，Hinton和他的伙伴們帶來的回報是豐厚的，這不僅發(fā)生在Google也發(fā)生在一些國家，包括加拿大。
在這個過程中，Hinton和NCAP已經(jīng)改變了這個曾經(jīng)拋棄他們社區(qū)的面貌，?當(dāng)下大學(xué)生們從傳統(tǒng)機器學(xué)習(xí)項目轉(zhuǎn)到深度學(xué)習(xí)這種現(xiàn)象無處不在了?。毫無疑問，現(xiàn)在深度學(xué)習(xí)是主流。“我們不再是極端分子了”Hinton說，“我們現(xiàn)在可是炙手可熱的核心技術(shù)呢。 ”
Hinton也周游世界并為深度學(xué)習(xí)積極布道，Hinton有一個習(xí)慣就是喜歡突然大喊：“我現(xiàn)在理解大腦是如何工作的了！”這很有感染力，他每周都會這樣做，你很難模仿。
通過NCAP 和CIFAR，Hinton開辦了一家暑期學(xué)校，致力于培養(yǎng)新一代的人工智能研究人員。有這么多的商業(yè)公司進(jìn)入這一領(lǐng)域，這是比以往任何時候都更加重要。不僅僅是科技巨頭加入這個領(lǐng)域，我們也看到大量的深度學(xué)習(xí)初創(chuàng)公司包括Ersatz,、Expect Labs以及 Declara。
“我們希望把AI和CIFAR帶到一個美妙的新領(lǐng)域，”Hinton說，“一個還沒有人或者程序到達(dá)的境界。”
和Geoff Hinton一起共同締造深度學(xué)習(xí)復(fù)興的大神還包括Yoshua Bengio（如圖2）和?Yann LeCun（圖3）教授，他們是Hinton堅定的支持者。
Yoshua Bengio（如圖2）教授也是機器學(xué)習(xí)大神之一，他的研究工作主要聚焦在高級機器學(xué)習(xí)方面，致力于用其解決人工智能問題。他是少有的幾個仍然全身心投入在深度學(xué)習(xí)學(xué)術(shù)界的教授之一，好多其他教授早已投身于工業(yè)界，加入了Google或Facebook公司。?
圖2：Montreal大學(xué)教授及AI研究者?Yoshua Bengio?
Yann LeCun和Yoshua Bengio不同，他目前就職于Facebook，任Facebook人工智能研究院主任，也是人工智能尤其是深度學(xué)習(xí)領(lǐng)域最知名的學(xué)者之一，在多倫多大學(xué)隨Hinton讀博士后即加盟貝爾實驗室，期間研發(fā)了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）與曾廣泛用于手寫識別和OCR的圖變換網(wǎng)絡(luò)方法。2003年加入紐約大學(xué)，從事廣度與深度兼具的各類研究，涉及機器學(xué)習(xí)、計算機視覺、移動機器人和計算神經(jīng)學(xué)。
圖3：紐約大學(xué)AI研究者及Facebook人工智能研究院的主任?Yann LeCun
毋庸置疑的是，深度學(xué)習(xí)以及整個人工智能領(lǐng)域已成為互聯(lián)網(wǎng)巨頭競爭的一個焦點。
深度學(xué)習(xí)領(lǐng)域人才極度稀缺
Montreal大學(xué)全職教授Yoshua Bengio表示：“深度學(xué)習(xí)現(xiàn)在炙手可熱，目前的困境是缺乏專家，一個博士生大概需要五年的時間培養(yǎng)，但是五年前還沒有博士生開始從事深度學(xué)習(xí)，這意味著現(xiàn)在該領(lǐng)域的專家特別少，可以說彌足珍貴、極度稀缺。”
據(jù)說目前深度學(xué)習(xí)領(lǐng)域的頂尖人才不超過50人，Andrew Ng表示深度學(xué)習(xí)領(lǐng)域人才匱乏的主要原因首先是數(shù)據(jù)，對于解決某些領(lǐng)域的問題，獲取數(shù)據(jù)并非易事；其次是計算基礎(chǔ)架構(gòu)工具，包括計算機硬件和軟件；最后是這個領(lǐng)域的工程師培養(yǎng)時間非常長。所以科技巨頭們包括Google、Facebook、Twitter、百度等紛紛通過收購深度學(xué)習(xí)領(lǐng)域的初創(chuàng)公司來招攬人才。
Google?2013年3月收購了一家名為DNNresearch的初創(chuàng)公司，這家公司隸屬多倫多大學(xué)計算機科學(xué)院，只有三個人——Geoffrey Hinton 與他的研究生學(xué)生 Alex Krizhevsky 和 Ilya Sutskever。之后，Google今年1月份斥資4億美元收購人工智能初創(chuàng)企業(yè)DeepMind，DeepMind由人工智能程序師兼神經(jīng)科學(xué)家Demis Hassabis等人聯(lián)合創(chuàng)立，是前沿的人工智能企業(yè)，其將機器學(xué)習(xí)和系統(tǒng)神經(jīng)科學(xué)的最先進(jìn)技術(shù)結(jié)合起來，建立強大的通用學(xué)習(xí)算法。另外，Google還收購烏克蘭面部識別技術(shù)開發(fā)商Viewdle。
Google不斷的收購深度學(xué)習(xí)領(lǐng)域的公司最主要的目的是“搶購”一批世界上最一流的專家，在一個迅速成長的人工智能領(lǐng)域里面，這些專家無一不是佼佼者。?
深度學(xué)習(xí)的誤區(qū)及產(chǎn)品化浪潮
百度首席科學(xué)家Andrew Ng表示：“目前圍繞Deep Learning存在著某種程度的夸大，它不單出現(xiàn)于媒體的字里行間，也存在于一些研究者之中。這是一種不健康的氛圍。將Deep Learning描繪成對人腦的模擬，這種說法非常具有吸引力，但卻是過于簡化的模仿，它距離真正的AI或人們所謂的‘奇點’還相當(dāng)遙遠(yuǎn)。”
目前這項技術(shù)主要是從海量數(shù)據(jù)當(dāng)中學(xué)習(xí)，理解數(shù)據(jù)，這也是現(xiàn)今有關(guān)Deep Learning技術(shù)研究和產(chǎn)品發(fā)展的驅(qū)動力。而具備與人能力相匹配的AI需要無所不包，例如人類擁有豐富的感情，這些都是當(dāng)下Deep Learning研究尚未涉及的。今天，AI領(lǐng)域最大的挑戰(zhàn)和短板是Perception，如何讓機器更好地理解人的意圖；而這正是 "深度學(xué)習(xí)"可以發(fā)光發(fā)熱的范疇。?
一項技術(shù)能夠快速成為主流，一個主要原因就是能夠快速推出成熟的產(chǎn)品，深度學(xué)習(xí)也不例外，所以深度學(xué)習(xí)產(chǎn)品化是一個大趨勢，追求不切實際的“天網(wǎng)”或者電影情節(jié)的高科技未免太急功近利、不切實際。目前?"深度學(xué)習(xí)"讓Google產(chǎn)品在語音，文本和圖像的識別上變得更加聰明，可以更準(zhǔn)確地洞悉我們的信息輸入，更人性化地理解我們的意圖。現(xiàn)在，每個安卓手機的語音識別以及Google街景中的圖像處理都有"深度學(xué)習(xí)"的影子。筆者認(rèn)為，隨著深度學(xué)習(xí)的發(fā)展和科技公司加大投入，會有越來越多的產(chǎn)品推向市場。
參考文章：
Twitter acquires deep learning startup Madbits
Yahoo acquires image recognition startup LookFlow to improve discovery in Flickr, build a deep learning group
Google Acquires Artificial Intelligence Startup DeepMind For More Than $500M?（編譯/魏偉 審校/仲浩）
總結(jié)
以上是生活随笔為你收集整理的深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 中国POS机十大公司排名：看看哪家实力强
- 下一篇： 深度学习所有文章