轉(zhuǎn)自：https://www.cnblogs.com/libinggen/p/7858737.html

神經(jīng)科學(xué)，依靠單一深度學(xué)習(xí)算法解決不同任務(wù)。視覺信號傳送到聽覺區(qū)域，大腦聽學(xué)習(xí)處理區(qū)域?qū)W會“看”(Von Melchner et al., 2000)。計(jì)算單元互相作用變智能。新認(rèn)知機(jī)(Fukushima,1980)，哺乳動物視覺系統(tǒng)結(jié)構(gòu)，處理圖片強(qiáng)大模型架構(gòu)，現(xiàn)代卷積網(wǎng)絡(luò)基礎(chǔ)(LeCun et al., 1998c)。神經(jīng)網(wǎng)絡(luò)基于整流線性單元(rectified linear unit)神經(jīng)單元模型。原始認(rèn)知機(jī)(Fukushima,1975)更復(fù)雜。簡化現(xiàn)代版，Nair and Hinton(2010b)和Glorot et al.(2011a) 神經(jīng)科學(xué)，Jarrett et al.(2009a) 面向工程。真實(shí)神經(jīng)元計(jì)算與現(xiàn)代整流線性單元不同函數(shù)，沒有提升性能。對神經(jīng)科學(xué)生物學(xué)習(xí)沒有足夠了解，不能為訓(xùn)練架構(gòu)學(xué)習(xí)算法提供借鑒。現(xiàn)代深度學(xué)習(xí)從應(yīng)用數(shù)學(xué)基本內(nèi)容(線性代數(shù)、概率論、信息論、數(shù)值優(yōu)化)獲取靈感。計(jì)算神經(jīng)科學(xué)，大腦在算法層面工作，獨(dú)立于深度學(xué)習(xí)。深度學(xué)習(xí)領(lǐng)域關(guān)注構(gòu)建計(jì)算機(jī)系統(tǒng)，解決智能解決任務(wù)。計(jì)算機(jī)器神經(jīng)科學(xué)關(guān)注構(gòu)建大腦真實(shí)工作、精確模型。

20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)第二次浪潮。聯(lián)結(jié)主義(connectionism)或并行分布處理(parallel distributed procession)(Rumelhart et al., 1986d;McClelland et al., 1995)。認(rèn)知科學(xué)，理解思維跨學(xué)科途徑，融合不多個(gè)不同分析層次。符號模型難解釋大腦用神經(jīng)元實(shí)現(xiàn)推理功能。基于神經(jīng)系統(tǒng)實(shí)現(xiàn)認(rèn)知模型(Touretzky and Minton, 1985)。心理學(xué)家Donald Hebb，20世界40年代工作(Hebb, 1949)。聯(lián)結(jié)主義，網(wǎng)絡(luò)將大量簡單計(jì)算單元連接在一起實(shí)現(xiàn)智能行為。同樣適用于生物神經(jīng)系統(tǒng)神經(jīng)元。

分布式表示(distributed representation)(Hinton et al., 1986)。系統(tǒng)每一個(gè)輸入由多個(gè)特征表示，每一個(gè)特征參與到多個(gè)輸入表示。反向傳播，訓(xùn)練具有內(nèi)部表示深度神經(jīng)網(wǎng)絡(luò)，反向傳播算法普及(Remelhart et al., 1986c;LeCun,1987)。訓(xùn)練深度模型主導(dǎo)方法。

20世紀(jì)90年代，Hochreiter(1991b)和Bengion et al.(1994b)，長序列建模。Hochreiter和Schmidhuber(1997)引入長短期記憶(logn short term memory, LSTM)網(wǎng)絡(luò)。LSTM 序列建模任務(wù)廣泛應(yīng)用，Google 自然語言處理任務(wù)。

第二次浪潮持續(xù)到20世紀(jì)90年代中期，機(jī)器學(xué)習(xí)其他領(lǐng)域，核方法(Boser et al., 1992; Cortes and Vapnik, 1995; Scholkopf et al., 1999)，圖模型(Jordan, 1998)在重要任務(wù)效果很好。神經(jīng)網(wǎng)絡(luò)熱潮第二次衰退，一直持續(xù)到2007年。(LeCUN et al., 1998c; Bengio et al., 2001a)。加拿大高級研究所(CIFAR)，神經(jīng)計(jì)算和自適應(yīng)感知(NCAP)研究計(jì)劃，聯(lián)合Geoffrey Hinton、Yoshua Bengio、Yann LeCun領(lǐng)導(dǎo)多倫多大學(xué)、蒙特利爾大學(xué)、紐約大學(xué)機(jī)器學(xué)習(xí)研究小組。包括神經(jīng)科學(xué)家、人類和計(jì)算視覺專家。20世紀(jì)80年代處法能工作得非常好，只是計(jì)算代價(jià)太高，當(dāng)時(shí)可用硬件難進(jìn)行足夠?qū)嶒?yàn)。

神經(jīng)網(wǎng)絡(luò)第三次浪潮，始于2006年突破。Geoffrey Hinton表明，深度信念網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，用貪婪逐層訓(xùn)練策略可有效訓(xùn)練(Hinton et al., 2006a)。同樣策略可訓(xùn)練其他類型深度網(wǎng)絡(luò)(Bengio and LeCun, 2007a; Ranzato et al., 2007b)，系統(tǒng)提高測試樣例泛化能力。普通深度學(xué)習(xí)術(shù)語。強(qiáng)調(diào)訓(xùn)練比較深神經(jīng)網(wǎng)絡(luò)，深度理論重要性(Bengio and LeCun,2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。深度神經(jīng)網(wǎng)絡(luò)優(yōu)地其他機(jī)器學(xué)習(xí)技術(shù)及手工設(shè)計(jì)功能AI系統(tǒng)。第三次浪潮現(xiàn)在已開始著眼無監(jiān)督學(xué)習(xí)技術(shù)、深度模型小數(shù)據(jù)集泛化能力。更多興趣點(diǎn)極是監(jiān)督學(xué)習(xí)算法、深度模型充分利用大型標(biāo)注數(shù)據(jù)集能力。

與日俱增數(shù)據(jù)量。訓(xùn)練數(shù)據(jù)增加，所需技巧減少。復(fù)雜任務(wù)達(dá)到人類水平學(xué)習(xí)算法，與20世紀(jì)80年代解決玩具問題(toy problem)一樣。簡化極深架構(gòu)訓(xùn)練。成功訓(xùn)練所需資源。

20世紀(jì)初，統(tǒng)計(jì)學(xué)家用數(shù)百或數(shù)千手動制作度量研究數(shù)據(jù)集(Garson,1900; Gosset,1908; Anderson, 1935; Fisher,1936)。20世紀(jì)50年代到80年代，受生物啟發(fā)機(jī)器學(xué)習(xí)開拓者用小合成數(shù)據(jù)集，如低分辨率字母位圖，低計(jì)算成本下表明神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特定功能(Widrow and Hoff,1960; Rumelhart et al., 1986b)。20世紀(jì)80年代和90年代，機(jī)器學(xué)習(xí)變得更偏統(tǒng)計(jì)，用成千上萬個(gè)樣本更大數(shù)據(jù)集，如手寫掃描數(shù)字MNIST數(shù)據(jù)集(LeCun et al., 1998c)。21世紀(jì)第一個(gè)10年，CIFAR-10數(shù)據(jù)集(Krizhevsky and Hinton,2009)。2011-2015，數(shù)萬到數(shù)千萬樣例數(shù)據(jù)集，完全改變深度學(xué)習(xí)可能實(shí)現(xiàn)。公共Street View House Numbers數(shù)據(jù)集(Netzer et al., 2011)。各種版本ImageNet數(shù)據(jù)集(Deng et al., 2009,2010a; Russakovsky et al., 2014a)。Sprots-1M數(shù)據(jù)集(Karpathy et al., 2014)。翻譯句子數(shù)據(jù)集，Canadian Hansard IBM數(shù)據(jù)集(Brown et al., 1990)。WMT 2014英法數(shù)據(jù)集(Schwentk,2014)。

社會日益數(shù)字化驅(qū)動數(shù)據(jù)集大小增加。活動在計(jì)算機(jī)，記錄，聯(lián)網(wǎng)，集中管理，整理機(jī)器學(xué)習(xí)數(shù)據(jù)集。監(jiān)督ipwya學(xué)習(xí)算法，每類5000個(gè)標(biāo)注樣本，可達(dá)到接受性能。1000萬個(gè)標(biāo)注樣本數(shù)據(jù)集訓(xùn)練，達(dá)到或超過人類表現(xiàn)。更小數(shù)據(jù)集，無監(jiān)督或半監(jiān)督學(xué)習(xí)未標(biāo)注樣本。

MNIST數(shù)據(jù)集。“NIST”，國家標(biāo)準(zhǔn)和技術(shù)研究所(National Institute of Standards and Technology)。“M”，修改(Modified)，更容易與機(jī)器學(xué)習(xí)算法一起用，數(shù)據(jù)預(yù)處理。MNIST數(shù)據(jù)集，手寫數(shù)字掃描、標(biāo)簽(每個(gè)圖像包含0~9數(shù)字)。深度學(xué)習(xí)最簡單最廣泛測試。Geoffrey Hinton，機(jī)器學(xué)習(xí)果蠅。在受控實(shí)驗(yàn)室條件研究算法。

與日俱增模型規(guī)模(每個(gè)神經(jīng)元連接數(shù))。現(xiàn)在擁有計(jì)算資源可運(yùn)行更大模型。聯(lián)結(jié)主義，動物很多神經(jīng)元一起工作變聰明。最初，人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元連接數(shù)受限硬件能力，現(xiàn)在主要是出于設(shè)計(jì)考慮。

神經(jīng)元總數(shù)目，神經(jīng)網(wǎng)絡(luò)驚人的小。隱藏單元引入，人工神經(jīng)網(wǎng)絡(luò)規(guī)模每2.4年擴(kuò)大一倍。更大內(nèi)存、更快計(jì)算機(jī)機(jī)、更大可用數(shù)據(jù)集驅(qū)動。更大網(wǎng)絡(luò)在更復(fù)雜任務(wù)實(shí)現(xiàn)更高精度。至少21世紀(jì)50年代，人工神經(jīng)網(wǎng)絡(luò)才具備人腦相同數(shù)量級神經(jīng)元。生物神經(jīng)元表示功能比目前人工神經(jīng)元表示更復(fù)雜。

感知機(jī)(Rosenblatt,1958,1962)。自適應(yīng)線性單元(Widrow and Hoff,1960)。神經(jīng)認(rèn)知機(jī)(Fukushima，1980)。早期后向傳播網(wǎng)絡(luò)(Rumelhart et al., 1986b)。用于語音識別循環(huán)神經(jīng)網(wǎng)絡(luò)(Robinson and Fallside,1991)。用于語音識別多層感知機(jī)(Bengio et al., 1991)。均勻場sigmoid信念網(wǎng)絡(luò)(Saul et al., 1996)。LeNet5 (LeCun et al., 1998c)。回聲壯態(tài)網(wǎng)絡(luò)(Jaeger and Haas,2004)。深度信念網(wǎng)絡(luò)(Hinton et al., 2006a)。GPU加速卷積網(wǎng)絡(luò)(Chellapilla et al., 2006)。深度玻爾茲曼機(jī)(Salakhutdinov and Hinton,2009a)。GPU加速深度信念網(wǎng)絡(luò)(Raina et al., 2009a)。無監(jiān)督卷積網(wǎng)絡(luò)(Jarrett et al., 2009b)。GPU加速多層感知機(jī)(Ciresan et al., 2010)。OMP-1網(wǎng)絡(luò)(Coates and Ng,2011)。分布式自編碼器(Le et al., 2012)。Multi-GPU卷積網(wǎng)絡(luò)(Krizhevsky et al., 2012a)。COTS HPC 無監(jiān)督卷積網(wǎng)絡(luò)(Coates et al., 2013)。GoogleNet(Szegedy et al., 2014a)。

與日俱增精度、復(fù)雜度，對現(xiàn)實(shí)世界沖擊。最早深度模型，識別裁剪緊湊且非常小圖像單個(gè)對象(Rumelhart et al., 1986d)。神經(jīng)網(wǎng)絡(luò)處理圖像尺寸逐漸增加。現(xiàn)代對象識別網(wǎng)絡(luò)處理豐富高分辨率照片，不需要被識別對象附近裁剪(Krizhevsky et al., 2012b)。現(xiàn)代網(wǎng)絡(luò)能識別到少1000個(gè)不同類別對象。ImageNet大型視覺識別挑戰(zhàn)(ILSVRC)，每年舉行。卷積網(wǎng)絡(luò)第一次大幅贏得挑戰(zhàn)，前5錯(cuò)誤率從26.1%降到15.3%(Krizhevsky et al.,2012b)。網(wǎng)絡(luò)針對每個(gè)圖像可能類別生成順序列表，除15.3%測試樣本，其他測試樣本正確類標(biāo)出現(xiàn)在列表前5項(xiàng)。深度卷積網(wǎng)絡(luò)連續(xù)贏得比賽，深度學(xué)習(xí)前5錯(cuò)誤率降到3.6%。Russakovsky et al.(2014b)和He et al.(2015)。

語音識別，20世紀(jì)90年代后，直到2000年停滯不前。深度學(xué)習(xí)引入(Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a)，語音識別錯(cuò)誤率下降。

深度網(wǎng)絡(luò)行人檢測、圖像分割得到成功(Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013)，交通標(biāo)志分類取得超越人類表現(xiàn)(Ciresan et al., 2012)。

Goodfellow et al.(2014d)，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸出描述圖像整個(gè)符序列。此前，學(xué)習(xí)需要對序列每個(gè)元素標(biāo)注(Gulcehre and Bengio,2013)。循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM序列模型，對序列和其他序列關(guān)系建模。序列到序列學(xué)習(xí)引領(lǐng)機(jī)器翻譯顛覆性發(fā)展(Sutskever et al., 2014; Bahdanau et al., 2015)。

邏輯結(jié)論，神經(jīng)圖靈機(jī)(Graves et al., 2014)引入，學(xué)習(xí)讀取存儲單元和向存儲單元寫入任意內(nèi)容。從期望行為樣本學(xué)習(xí)簡單程序。從雜亂和排好序樣本學(xué)習(xí)對一系列數(shù)排序。自我編程技術(shù)起步階段，原則上未來可適用幾科所有任務(wù)。

強(qiáng)化學(xué)習(xí)(reinforcement learning)。自主智能體，沒有人類操作者指導(dǎo)，試錯(cuò)學(xué)習(xí)執(zhí)行任務(wù)。DeepMind表明，深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)系統(tǒng)學(xué)會玩Atari視頻游戲，在多種任務(wù)可與人類匹配(Mnih et al., 2015)。深度學(xué)習(xí)顯著改善機(jī)器人強(qiáng)化學(xué)習(xí)性能(Finn et al., 2015)。

深度學(xué)習(xí)應(yīng)用高利潤，頂級技術(shù)公司：Googel、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA、NEC。

深度學(xué)習(xí)進(jìn)步依賴軟件基礎(chǔ)架構(gòu)進(jìn)展。軟件庫，Theano(Bergstra et al., 2010a; Bastien et al., 2012a)、PyLearn2(Goodfellow et al., 2013e)、Torch(Collobert et al., 2011b)、DistBelief(Dean et al., 2012)、Caffe(Jia,2013)、MXNet(Chen et al., 2015)、TensorFlow(Abadi et al., 2015)。支持重要研究項(xiàng)目或商業(yè)產(chǎn)品。

對象識別現(xiàn)代卷積網(wǎng)絡(luò)為神經(jīng)科學(xué)家提供視覺處理模型(DiCarlo, 2013)。處理海量數(shù)據(jù)、科學(xué)領(lǐng)域有效預(yù)測工具，成功預(yù)測分子相互作用，幫助制藥公司設(shè)計(jì)新藥物(Dahl et al., 2014)。搜索亞原子粒子(Baldi et al., 2014)。自動解析構(gòu)建人腦三維圖顯微鏡圖像(Knowles-Braley et al., 2014)。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種方法。

參考資料：
《深度學(xué)習(xí)》

歡迎推薦上海機(jī)器學(xué)習(xí)工作機(jī)會，我的微信：qingxingfengzi

我有一個(gè)微信群，歡迎一起學(xué)深度學(xué)習(xí)。

總結(jié)

以上是生活随笔為你收集整理的学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。