新手的深度学习综述 | 入门
選自arXiv，作者：Matiur Rahman Minar、Jibon Naher，機(jī)器之心編譯，參與：翁俊堅(jiān)、劉曉坤。
這篇綜述論文列舉出了近年來深度學(xué)習(xí)的重要研究成果，從方法、架構(gòu)，以及正則化、優(yōu)化技術(shù)方面進(jìn)行概述。機(jī)器之心認(rèn)為，這篇綜述對(duì)于剛?cè)腴T的深度學(xué)習(xí)新手是一份不錯(cuò)的參考資料，在形成基本學(xué)術(shù)界圖景、指導(dǎo)文獻(xiàn)查找等方面都能提供幫助。?
論文：Recent Advances in Deep Learning: An Overview
論文地址：https://arxiv.org/pdf/1807.08169v1.pdf
摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能研究的最新趨勢(shì)之一。它也是當(dāng)今最流行的科學(xué)研究趨勢(shì)之一。深度學(xué)習(xí)方法為計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)帶來了革命性的進(jìn)步。新的深度學(xué)習(xí)技術(shù)正在不斷誕生，超越最先進(jìn)的機(jī)器學(xué)習(xí)甚至是現(xiàn)有的深度學(xué)習(xí)技術(shù)。近年來，全世界在這一領(lǐng)域取得了許多重大突破。由于深度學(xué)習(xí)正快度發(fā)展，導(dǎo)致了它的進(jìn)展很難被跟進(jìn)，特別是對(duì)于新的研究者。在本文中，我們將簡要討論近年來關(guān)于深度學(xué)習(xí)的最新進(jìn)展。
1. 引言
「深度學(xué)習(xí)」（DL）一詞最初在 1986 被引入機(jī)器學(xué)習(xí)（ML），后來在 2000 年時(shí)被用于人工神經(jīng)網(wǎng)絡(luò)（ANN）。深度學(xué)習(xí)方法由多個(gè)層組成，以學(xué)習(xí)具有多個(gè)抽象層次的數(shù)據(jù)特征。DL 方法允許計(jì)算機(jī)通過相對(duì)簡單的概念來學(xué)習(xí)復(fù)雜的概念。對(duì)于人工神經(jīng)網(wǎng)絡(luò)（ANN），深度學(xué)習(xí)（DL）（也稱為分層學(xué)習(xí)（Hierarchical Learning））是指在多個(gè)計(jì)算階段中精確地分配信用，以轉(zhuǎn)換網(wǎng)絡(luò)中的聚合激活。為了學(xué)習(xí)復(fù)雜的功能，深度架構(gòu)被用于多個(gè)抽象層次，即非線性操作；例如 ANNs，具有許多隱藏層。用準(zhǔn)確的話總結(jié)就是，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，它使用了多層次的非線性信息處理和抽象，用于有監(jiān)督或無監(jiān)督的特征學(xué)習(xí)、表示、分類和模式識(shí)別。
深度學(xué)習(xí)即表征學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支或子領(lǐng)域，大多數(shù)人認(rèn)為近代深度學(xué)習(xí)方法是從 2006 開始發(fā)展起來的。本文是關(guān)于最新的深度學(xué)習(xí)技術(shù)的綜述，主要推薦給即將涉足該領(lǐng)域的研究者。本文包括 DL 的基本思想、主要方法、最新進(jìn)展以及應(yīng)用。
綜述論文是非常有益的，特別是對(duì)某一特定領(lǐng)域的新研究人員。一個(gè)研究領(lǐng)域如果在不久的將來及相關(guān)應(yīng)用領(lǐng)域中有很大的價(jià)值，那通常很難被實(shí)時(shí)跟蹤到最新進(jìn)展。現(xiàn)在，科學(xué)研究是一個(gè)很有吸引力的職業(yè)，因?yàn)橹R(shí)和教育比以往任何時(shí)候都更容易分享和獲得。對(duì)于一種技術(shù)研究的趨勢(shì)來說，唯一正常的假設(shè)是它會(huì)在各個(gè)方面有很多的改進(jìn)。幾年前對(duì)某個(gè)領(lǐng)域的概述，現(xiàn)在可能已經(jīng)過時(shí)了。
考慮到近年來深度學(xué)習(xí)的普及和推廣，我們簡要概述了深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（NN），以及它的主要進(jìn)展和幾年來的重大突破。我們希望這篇文章將幫助許多新手研究者在這一領(lǐng)域全面了解最近的深度學(xué)習(xí)的研究和技術(shù)，并引導(dǎo)他們以正確的方式開始。同時(shí)，我們希望通過這項(xiàng)工作，向這個(gè)時(shí)代的頂級(jí) DL 和 ANN 研究者們致敬：Geoffrey Hinton（Hinton）、Juergen Schmidhuber（Schmidhuber）、Yann LeCun（LeCun）、Yoshua Bengio（Bengio）和許多其他研究學(xué)者，他們的研究構(gòu)建了現(xiàn)代人工智能（AI）。跟進(jìn)他們的工作，以追蹤當(dāng)前最佳的 DL 和 ML 研究進(jìn)展對(duì)我們來說也至關(guān)重要。
在本論文中，我們首先簡述過去的研究論文，對(duì)深度學(xué)習(xí)的模型和方法進(jìn)行研究。然后，我們將開始描述這一領(lǐng)域的最新進(jìn)展。我們將討論深度學(xué)習(xí)（DL）方法、深度架構(gòu)（即深度神經(jīng)網(wǎng)絡(luò)（DNN））和深度生成模型（DGM），其次是重要的正則化和優(yōu)化方法。此外，用兩個(gè)簡短的部分對(duì)于開源的 DL 框架和重要的 DL 應(yīng)用進(jìn)行總結(jié)。我們將在最后兩個(gè)章節(jié)（即討論和結(jié)論）中討論深入學(xué)習(xí)的現(xiàn)狀和未來。
2. 相關(guān)研究
在過去的幾年中，有許多關(guān)于深度學(xué)習(xí)的綜述論文。他們以很好的方式描述了 DL 方法、方法論以及它們的應(yīng)用和未來研究方向。這里，我們簡要介紹一些關(guān)于深度學(xué)習(xí)的優(yōu)秀綜述論文。
Young 等人（2017）討論了 DL 模型和架構(gòu)，主要用于自然語言處理（NLP）。他們?cè)诓煌?NLP 領(lǐng)域中展示了 DL 應(yīng)用，比較了 DL 模型，并討論了可能的未來趨勢(shì)。
Zhang 等人（2017）討論了用于前端和后端語音識(shí)別系統(tǒng)的當(dāng)前最佳深度學(xué)習(xí)技術(shù)。
Zhu 等人（2017）綜述了 DL 遙感技術(shù)的最新進(jìn)展。他們還討論了開源的 DL 框架和其他深度學(xué)習(xí)的技術(shù)細(xì)節(jié)。
Wang 等人（2017）以時(shí)間順序的方式描述了深度學(xué)習(xí)模型的演變。該短文簡要介紹了模型，以及在 DL 研究中的突破。該文以進(jìn)化的方式來了解深度學(xué)習(xí)的起源，并對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化和未來的研究做了解讀。
Goodfellow 等人（2016）詳細(xì)討論了深度網(wǎng)絡(luò)和生成模型，從機(jī)器學(xué)習(xí)（ML）基礎(chǔ)知識(shí)、深度架構(gòu)的優(yōu)缺點(diǎn)出發(fā)，對(duì)近年來的 DL 研究和應(yīng)用進(jìn)行了總結(jié)。
LeCun 等人（2015）從卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）概述了深度學(xué)習(xí)（DL）模型。他們從表征學(xué)習(xí)的角度描述了 DL，展示了 DL 技術(shù)如何工作、如何在各種應(yīng)用中成功使用、以及如何對(duì)預(yù)測未來進(jìn)行基于無監(jiān)督學(xué)習(xí)（UL）的學(xué)習(xí)。同時(shí)他們還指出了 DL 在文獻(xiàn)目錄中的主要進(jìn)展。
Schmidhuber（2015）從 CNN、RNN 和深度強(qiáng)化學(xué)習(xí) (RL) 對(duì)深度學(xué)習(xí)做了一個(gè)概述。他強(qiáng)調(diào)了序列處理的 RNN，同時(shí)指出基本 DL 和 NN 的局限性，以及改進(jìn)它們的技巧。
Nielsen (2015) 用代碼和例子描述了神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)。他還在一定程度上討論了深度神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。
Schmidhuber (2014) 討論了基于時(shí)間序列的神經(jīng)網(wǎng)絡(luò)、采用機(jī)器學(xué)習(xí)方法進(jìn)行分類，以及在神經(jīng)網(wǎng)絡(luò)中使用深度學(xué)習(xí)的歷史和進(jìn)展。
Deng 和 Yu (2014) 描述了深度學(xué)習(xí)類別和技術(shù)，以及 DL 在幾個(gè)領(lǐng)域的應(yīng)用。
Bengio (2013) 從表征學(xué)習(xí)的角度簡要概述了 DL 算法，即監(jiān)督和無監(jiān)督網(wǎng)絡(luò)、優(yōu)化和訓(xùn)練模型。他聚焦于深度學(xué)習(xí)的許多挑戰(zhàn)，例如：為更大的模型和數(shù)據(jù)擴(kuò)展算法，減少優(yōu)化困難，設(shè)計(jì)有效的縮放方法等。
Bengio 等人 (2013) 討論了表征和特征學(xué)習(xí)即深度學(xué)習(xí)。他們從應(yīng)用、技術(shù)和挑戰(zhàn)的角度探討了各種方法和模型。
Deng (2011) 從信息處理及相關(guān)領(lǐng)域的角度對(duì)深度結(jié)構(gòu)化學(xué)習(xí)及其架構(gòu)進(jìn)行了概述。
Arel 等人 (2010) 簡要概述了近年來的 DL 技術(shù)。
Bengio (2009) 討論了深度架構(gòu)，即人工智能的神經(jīng)網(wǎng)絡(luò)和生成模型。
最近所有關(guān)于深度學(xué)習(xí)（DL）的論文都從多個(gè)角度討論了深度學(xué)習(xí)重點(diǎn)。這對(duì) DL 的研究人員來說是非常有必要的。然而，DL 目前是一個(gè)蓬勃發(fā)展的領(lǐng)域。在最近的 DL 概述論文發(fā)表之后，仍有許多新的技術(shù)和架構(gòu)被提出。此外，以往的論文從不同的角度進(jìn)行研究。我們的論文主要是針對(duì)剛進(jìn)入這一領(lǐng)域的學(xué)習(xí)者和新手。為此，我們將努力為新研究人員和任何對(duì)這一領(lǐng)域感興趣的人提供一個(gè)深度學(xué)習(xí)的基礎(chǔ)和清晰的概念。
3. 最新進(jìn)展
在本節(jié)中，我們將討論最近從機(jī)器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò) (ANN) 的中衍生出來的主要深度學(xué)習(xí) (DL) 方法，人工神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)最常用的形式。
3.1 深度架構(gòu)的演變
人工神經(jīng)網(wǎng)絡(luò) (ANN) 已經(jīng)取得了長足的進(jìn)步，同時(shí)也帶來了其他的深度模型。第一代人工神經(jīng)網(wǎng)絡(luò)由簡單的感知器神經(jīng)層組成，只能進(jìn)行有限的簡單計(jì)算。第二代使用反向傳播，根據(jù)錯(cuò)誤率更新神經(jīng)元的權(quán)重。然后支持向量機(jī) (SVM) 浮出水面，在一段時(shí)間內(nèi)超越 ANN。為了克服反向傳播的局限性，人們提出了受限玻爾茲曼機(jī)（RBM），使學(xué)習(xí)更容易。此時(shí)其他技術(shù)和神經(jīng)網(wǎng)絡(luò)也出現(xiàn)了，如前饋神經(jīng)網(wǎng)絡(luò) (FNN)、卷積神經(jīng)網(wǎng)絡(luò) (CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 等，以及深層信念網(wǎng)絡(luò)、自編碼器等。從那時(shí)起，為實(shí)現(xiàn)各種用途，ANN 在不同方面得到了改進(jìn)和設(shè)計(jì)。
Schmidhuber (2014)、Bengio (2009)、Deng 和 Yu (2014)、Goodfellow 等人 (2016)、Wang 等人 (2017) 對(duì)深度神經(jīng)網(wǎng)絡(luò) (DNN) 的進(jìn)化和歷史以及深度學(xué)習(xí) (DL) 進(jìn)行了詳細(xì)的概述。在大多數(shù)情況下，深層架構(gòu)是簡單架構(gòu)的多層非線性重復(fù)，這樣可從輸入中獲得高度復(fù)雜的函數(shù)。
?
4. 深度學(xué)習(xí)方法
深度神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)中取得了巨大的成功。此外，深度學(xué)習(xí)模型在無監(jiān)督、混合和強(qiáng)化學(xué)習(xí)方面也非常成功。
4.1 深度監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)應(yīng)用在當(dāng)數(shù)據(jù)標(biāo)記、分類器分類或數(shù)值預(yù)測的情況。LeCun 等人 (2015) 對(duì)監(jiān)督學(xué)習(xí)方法以及深層結(jié)構(gòu)的形成給出了一個(gè)精簡的解釋。Deng 和 Yu(2014) 提到了許多用于監(jiān)督和混合學(xué)習(xí)的深度網(wǎng)絡(luò)，并做出解釋，例如深度堆棧網(wǎng)絡(luò) (DSN) 及其變體。Schmidthuber(2014) 的研究涵蓋了所有神經(jīng)網(wǎng)絡(luò)，從早期神經(jīng)網(wǎng)絡(luò)到最近成功的卷積神經(jīng)網(wǎng)絡(luò) (CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)、長短期記憶 (LSTM) 及其改進(jìn)。
?
4.2 深度無監(jiān)督學(xué)習(xí)
當(dāng)輸入數(shù)據(jù)沒有標(biāo)記時(shí)，可應(yīng)用無監(jiān)督學(xué)習(xí)方法從數(shù)據(jù)中提取特征并對(duì)其進(jìn)行分類或標(biāo)記。LeCun 等人 (2015) 預(yù)測了無監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)中的未來。Schmidthuber(2014) 也描述了無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。Deng 和 Yu(2014) 簡要介紹了無監(jiān)督學(xué)習(xí)的深度架構(gòu)，并詳細(xì)解釋了深度自編碼器。
?
4.3 深度強(qiáng)化學(xué)習(xí)
強(qiáng)化學(xué)習(xí)使用獎(jiǎng)懲系統(tǒng)預(yù)測學(xué)習(xí)模型的下一步。這主要用于游戲和機(jī)器人，解決平常的決策問題。Schmidthuber(2014) 描述了強(qiáng)化學(xué)習(xí) (RL) 中深度學(xué)習(xí)的進(jìn)展，以及深度前饋神經(jīng)網(wǎng)絡(luò) (FNN) 和循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 在 RL 中的應(yīng)用。Li(2017) 討論了深度強(qiáng)化學(xué)習(xí) (Deep Reinforcement Learning, DRL)、它的架構(gòu) (例如 Deep Q-Network, DQN) 以及在各個(gè)領(lǐng)域的應(yīng)用。
Mnih 等人 (2016) 提出了一種利用異步梯度下降進(jìn)行 DNN 優(yōu)化的 DRL 框架。
van Hasselt 等人 (2015) 提出了一種使用深度神經(jīng)網(wǎng)絡(luò) (deep neural network, DNN) 的 DRL 架構(gòu)。
5. 深度神經(jīng)網(wǎng)絡(luò)
在本節(jié)中，我們將簡要地討論深度神經(jīng)網(wǎng)絡(luò) (DNN)，以及它們最近的改進(jìn)和突破。神經(jīng)網(wǎng)絡(luò)的功能與人腦相似。它們主要由神經(jīng)元和連接組成。當(dāng)我們說深度神經(jīng)網(wǎng)絡(luò)時(shí)，我們可以假設(shè)有相當(dāng)多的隱藏層，可以用來從輸入中提取特征和計(jì)算復(fù)雜的函數(shù)。Bengio(2009) 解釋了深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò) (CNN)、自編碼器 (AE) 等及其變體。Deng 和 Yu(2014) 詳細(xì)介紹了一些神經(jīng)網(wǎng)絡(luò)架構(gòu)，如 AE 及其變體。Goodfellow 等 (2016) 對(duì)深度前饋網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò)及其改進(jìn)進(jìn)行了介紹和技巧性講解。Schmidhuber(2014) 提到了神經(jīng)網(wǎng)絡(luò)從早期神經(jīng)網(wǎng)絡(luò)到最近成功技術(shù)的完整歷史。
?
5.1 深度自編碼器
自編碼器 (AE) 是神經(jīng)網(wǎng)絡(luò) (NN)，其中輸出即輸入。AE 采用原始輸入，編碼為壓縮表示，然后解碼以重建輸入。在深度 AE 中，低隱藏層用于編碼，高隱藏層用于解碼，誤差反向傳播用于訓(xùn)練.。
5.1.1 變分自編碼器
變分自動(dòng)編碼器 (VAE) 可以算作解碼器。VAE 建立在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)上，可以通過隨機(jī)梯度下降訓(xùn)練 (Doersch,2016)。
?
5.1.2 多層降噪自編碼器
在早期的自編碼器 (AE) 中，編碼層的維度比輸入層小（窄）。在多層降噪自編碼器 (SDAE) 中，編碼層比輸入層寬 (Deng and Yu, 2014)。
?
5.1.3 變換自編碼器
深度自動(dòng)編碼器 (DAE) 可以是轉(zhuǎn)換可變的，也就是從多層非線性處理中提取的特征可以根據(jù)學(xué)習(xí)者的需要而改變。變換自編碼器 (TAE) 既可以使用輸入向量，也可以使用目標(biāo)輸出向量來應(yīng)用轉(zhuǎn)換不變性屬性，將代碼引導(dǎo)到期望的方向 (Deng and Yu,2014)。
?
5.2 深度卷積神經(jīng)網(wǎng)絡(luò)
四種基本思想構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò) (CNN)，即：局部連接、共享權(quán)重、池化和多層使用。CNN 的第一部分由卷積層和池化層組成，后一部分主要是全連接層。卷積層檢測特征的局部連接，池層將相似的特征合并為一個(gè)。CNN 在卷積層中使用卷積而不是矩陣乘法。
Krizhevsky 等人 (2012) 提出了一種深度卷積神經(jīng)網(wǎng)絡(luò) (CNN) 架構(gòu)，也稱為 AlexNet，這是深度學(xué)習(xí) (Deep Learning, DL) 的一個(gè)重大突破。網(wǎng)絡(luò)由 5 個(gè)卷積層和 3 個(gè)全連接層組成。該架構(gòu)采用圖形處理單元 (GPU) 進(jìn)行卷積運(yùn)算，采用線性整流函數(shù) (ReLU) 作為激活函數(shù)，用 Dropout 來減少過擬合。
Iandola 等人 (2016) 提出了一個(gè)小型的 CNN 架構(gòu)，叫做「SqueezeNet」。
Szegedy 等人 (2014) 提出了一種深度 CNN 架構(gòu)，名為 Inception。Dai 等人 (2017) 提出了對(duì) Inception-ResNet 的改進(jìn)。
Redmon 等人 (2015) 提出了一個(gè)名為 YOLO (You Only Look Once) 的 CNN 架構(gòu)，用于均勻和實(shí)時(shí)的目標(biāo)檢測。
Zeiler 和 Fergus (2013) 提出了一種將 CNN 內(nèi)部激活可視化的方法。
Gehring 等人 (2017) 提出了一種用于序列到序列學(xué)習(xí)的 CNN 架構(gòu)。
Bansal 等人 (2017) 提出了 PixelNet，使用像素來表示。
Goodfellow 等人 (2016) 解釋了 CNN 的基本架構(gòu)和思想。Gu 等人 (2015) 對(duì) CNN 的最新進(jìn)展、CNN 的多種變體、CNN 的架構(gòu)、正則化方法和功能以及在各個(gè)領(lǐng)域的應(yīng)用進(jìn)行了很好的概述。
?
5.2.1 深度最大池化卷積神經(jīng)網(wǎng)絡(luò)
最大池化卷積神經(jīng)網(wǎng)絡(luò) (MPCNN) 主要對(duì)卷積和最大池化進(jìn)行操作，特別是在數(shù)字圖像處理中。MPCNN 通常由輸入層以外的三種層組成。卷積層獲取輸入圖像并生成特征圖，然后應(yīng)用非線性激活函數(shù)。最大池層向下采樣圖像，并保持子區(qū)域的最大值。全連接層進(jìn)行線性乘法。在深度 MPCNN 中，在輸入層之后周期性地使用卷積和混合池化，然后是全連接層。
?
5.2.2 極深的卷積神經(jīng)網(wǎng)絡(luò)
Simonyan 和 Zisserman(2014) 提出了非常深層的卷積神經(jīng)網(wǎng)絡(luò) (VDCNN) 架構(gòu)，也稱為 VGG Net。VGG Net 使用非常小的卷積濾波器，深度達(dá)到 16-19 層。Conneau 等人 (2016) 提出了另一種文本分類的 VDCNN 架構(gòu)，使用小卷積和池化。他們聲稱這個(gè) VDCNN 架構(gòu)是第一個(gè)在文本處理中使用的，它在字符級(jí)別上起作用。該架構(gòu)由 29 個(gè)卷積層組成。
?
5.3 網(wǎng)絡(luò)中的網(wǎng)絡(luò)
Lin 等人 (2013) 提出了網(wǎng)絡(luò)中的網(wǎng)絡(luò) (Network In Network,NIN)。NIN 以具有復(fù)雜結(jié)構(gòu)的微神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的卷積層。它使用多層感知器 (MLPConv) 處理微神經(jīng)網(wǎng)絡(luò)和全局平均池化層，而不是全連接層。深度 NIN 架構(gòu)可以由 NIN 結(jié)構(gòu)的多重疊加組成。
?
5.4 基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)
Girshick 等人 (2014) 提出了基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò) (R-CNN)，使用區(qū)域進(jìn)行識(shí)別。R-CNN 使用區(qū)域來定位和分割目標(biāo)。該架構(gòu)由三個(gè)模塊組成：定義了候選區(qū)域的集合的類別獨(dú)立區(qū)域建議，從區(qū)域中提取特征的大型卷積神經(jīng)網(wǎng)絡(luò) (CNN)，以及一組類特定的線性支持向量機(jī) (SVM)。
?
5.4.1 Fast R-CNN
Girshick(2015) 提出了快速的基于區(qū)域的卷積網(wǎng)絡(luò) (Fast R-CNN)。這種方法利用 R-CNN 架構(gòu)能快速地生成結(jié)果。Fast R-CNN 由卷積層和池化層、區(qū)域建議層和一系列全連接層組成。
?
5.4.2 Faster R-CNN
Ren 等人 (2015) 提出了更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò) (Faster R-CNN)，它使用區(qū)域建議網(wǎng)絡(luò) (Region Proposal Network, RPN) 進(jìn)行實(shí)時(shí)目標(biāo)檢測。RPN 是一個(gè)全卷積網(wǎng)絡(luò)，能夠準(zhǔn)確、高效地生成區(qū)域建議 (Ren et al.，2015)。
?
5.4.3 Mask R-CNN
何愷明等人 (2017) 提出了基于區(qū)域的掩模卷積網(wǎng)絡(luò) (Mask R-CNN) 實(shí)例目標(biāo)分割。Mask R-CNN 擴(kuò)展了 R-CNN 的架構(gòu)，并使用一個(gè)額外的分支用于預(yù)測目標(biāo)掩模。
?
5.4.4 Multi-Expert R-CNN
Lee 等人 (2017) 提出了基于區(qū)域的多專家卷積神經(jīng)網(wǎng)絡(luò) (ME R-CNN)，利用了 Fast R-CNN 架構(gòu)。ME R-CNN 從選擇性和詳盡的搜索中生成興趣區(qū)域 (RoI)。它也使用 per-RoI 多專家網(wǎng)絡(luò)而不是單一的 per-RoI 網(wǎng)絡(luò)。每個(gè)專家都是來自 Fast R-CNN 的全連接層的相同架構(gòu)。
?
5.5 深度殘差網(wǎng)絡(luò)
He 等人 (2015) 提出的殘差網(wǎng)絡(luò) (ResNet) 由 152 層組成。ResNet 具有較低的誤差，并且容易通過殘差學(xué)習(xí)進(jìn)行訓(xùn)練。更深層次的 ResNet 可以獲得更好的性能。在深度學(xué)習(xí)領(lǐng)域，人們認(rèn)為 ResNet 是一個(gè)重要的進(jìn)步。
?
5.5.1 Resnet in Resnet
Targ 等人 (2016) 在 Resnet in Resnet (RiR) 中提出將 ResNets 和標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò) (CNN) 結(jié)合到深層雙流架構(gòu)中。
?
5.5.2 ResNeXt
Xie 等人 (2016) 提出了 ResNeXt 架構(gòu)。ResNext 利用 ResNets 來重復(fù)使用分割-轉(zhuǎn)換-合并策略。
?
5.6 膠囊網(wǎng)絡(luò)
Sabour 等人 (2017) 提出了膠囊網(wǎng)絡(luò) (CapsNet)，即一個(gè)包含兩個(gè)卷積層和一個(gè)全連接層的架構(gòu)。CapsNet 通常包含多個(gè)卷積層，膠囊層位于末端。CapsNet 被認(rèn)為是深度學(xué)習(xí)的最新突破之一，因?yàn)閾?jù)說這是基于卷積神經(jīng)網(wǎng)絡(luò)的局限性而提出的。它使用的是一層又一層的膠囊，而不是神經(jīng)元。激活的較低級(jí)膠囊做出預(yù)測，在同意多個(gè)預(yù)測后，更高級(jí)的膠囊變得活躍。在這些膠囊層中使用了一種協(xié)議路由機(jī)制。Hinton 之后提出 EM 路由，利用期望最大化 (EM) 算法對(duì) CapsNet 進(jìn)行了改進(jìn)。
?
5.7 循環(huán)神經(jīng)網(wǎng)絡(luò)
循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 更適合于序列輸入，如語音、文本和生成序列。一個(gè)重復(fù)的隱藏單元在時(shí)間展開時(shí)可以被認(rèn)為是具有相同權(quán)重的非常深的前饋網(wǎng)絡(luò)。由于梯度消失和維度爆炸問題，RNN 曾經(jīng)很難訓(xùn)練。為了解決這個(gè)問題，后來許多人提出了改進(jìn)意見。
Goodfellow 等人 (2016) 詳細(xì)分析了循環(huán)和遞歸神經(jīng)網(wǎng)絡(luò)和架構(gòu)的細(xì)節(jié)，以及相關(guān)的門控和記憶網(wǎng)絡(luò)。
Karpathy 等人 (2015) 使用字符級(jí)語言模型來分析和可視化預(yù)測、表征訓(xùn)練動(dòng)態(tài)、RNN 及其變體 (如 LSTM) 的錯(cuò)誤類型等。
J′ozefowicz 等人 (2016) 探討了 RNN 模型和語言模型的局限性。
?
5.7.1 RNN-EM
Peng 和 Yao(2015) 提出了利用外部記憶 (RNN-EM) 來改善 RNN 的記憶能力。他們聲稱在語言理解方面達(dá)到了最先進(jìn)的水平，比其他 RNN 更好。
?
5.7.2 GF-RNN
Chung 等 (2015) 提出了門控反饋遞歸神經(jīng)網(wǎng)絡(luò) (GF-RNN)，它通過將多個(gè)遞歸層與全局門控單元疊加來擴(kuò)展標(biāo)準(zhǔn)的 RNN。
?
5.7.3 CRF-RNN
Zheng 等人 (2015) 提出條件隨機(jī)場作為循環(huán)神經(jīng)網(wǎng)絡(luò) (CRF-RNN)，其將卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和條件隨機(jī)場 (CRF) 結(jié)合起來進(jìn)行概率圖形建模。
?
5.7.4 Quasi-RNN
Bradbury 等人 (2016) 提出了用于神經(jīng)序列建模和沿時(shí)間步的并行應(yīng)用的準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò) (QRNN)。
?
5.8 記憶網(wǎng)絡(luò)
Weston 等人 (2014) 提出了問答記憶網(wǎng)絡(luò) (QA)。記憶網(wǎng)絡(luò)由記憶、輸入特征映射、泛化、輸出特征映射和響應(yīng)組成。
5.8.1 動(dòng)態(tài)記憶網(wǎng)絡(luò)
Kumar 等人 (2015) 提出了用于 QA 任務(wù)的動(dòng)態(tài)記憶網(wǎng)絡(luò) (DMN)。DMN 有四個(gè)模塊:輸入、問題、情景記憶、輸出。
?
5.9 增強(qiáng)神經(jīng)網(wǎng)絡(luò)
Olah 和 Carter(2016) 很好地展示了注意力和增強(qiáng)循環(huán)神經(jīng)網(wǎng)絡(luò)，即神經(jīng)圖靈機(jī) (NTM)、注意力接口、神經(jīng)編碼器和自適應(yīng)計(jì)算時(shí)間。增強(qiáng)神經(jīng)網(wǎng)絡(luò)通常是使用額外的屬性，如邏輯函數(shù)以及標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
?
5.9.1 神經(jīng)圖靈機(jī)
Graves 等人 (2014) 提出了神經(jīng)圖靈機(jī) (NTM) 架構(gòu)，由神經(jīng)網(wǎng)絡(luò)控制器和記憶庫組成。NTM 通常將 RNN 與外部記憶庫結(jié)合。
?
5.9.2 神經(jīng) GPU
Kaiser 和 Sutskever(2015) 提出了神經(jīng) GPU，解決了 NTM 的并行問題。
?
5.9.3 神經(jīng)隨機(jī)存取機(jī)
Kurach 等人 (2015) 提出了神經(jīng)隨機(jī)存取機(jī)，它使用外部的可變大小的隨機(jī)存取存儲(chǔ)器。
?
5.9.4 神經(jīng)編程器
Neelakantan 等人 (2015) 提出了神經(jīng)編程器，一種具有算術(shù)和邏輯功能的增強(qiáng)神經(jīng)網(wǎng)絡(luò)。
?
5.9.5 神經(jīng)編程器-解釋器
Reed 和 de Freitas(2015) 提出了可以學(xué)習(xí)的神經(jīng)編程器-解釋器 (NPI)。NPI 包括周期性內(nèi)核、程序內(nèi)存和特定于領(lǐng)域的編碼器。
?
5.10 長短期記憶網(wǎng)絡(luò)
Hochreiter 和 Schmidhuber(1997) 提出了長短期記憶 (Long short - Short-Term Memory, LSTM)，克服了循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 的誤差回流問題。LSTM 是基于循環(huán)網(wǎng)絡(luò)和基于梯度的學(xué)習(xí)算法，LSTM 引入自循環(huán)產(chǎn)生路徑，使得梯度能夠流動(dòng)。
Greff 等人 (2017) 對(duì)標(biāo)準(zhǔn) LSTM 和 8 個(gè) LSTM 變體進(jìn)行了大規(guī)模分析，分別用于語音識(shí)別、手寫識(shí)別和復(fù)調(diào)音樂建模。他們聲稱 LSTM 的 8 個(gè)變種沒有顯著改善，而只有標(biāo)準(zhǔn) LSTM 表現(xiàn)良好。
Shi 等人 (2016b) 提出了深度長短期記憶網(wǎng)絡(luò) (DLSTM)，它是一個(gè) LSTM 單元的堆棧，用于特征映射學(xué)習(xí)表示。
?
5.10.1 批-歸一化 LSTM
Cooijmans 等人 (2016) 提出了批-歸一化 LSTM (BN-LSTM)，它對(duì)遞歸神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)使用批-歸一化。
?
5.10.2 Pixel RNN
van den Oord 等人 (2016b) 提出像素遞歸神經(jīng)網(wǎng)絡(luò) (Pixel-RNN)，由 12 個(gè)二維 LSTM 層組成。
?
5.10.3 雙向 LSTM
W¨ollmer 等人 (2010) 提出了雙向 LSTM(BLSTM) 的循環(huán)網(wǎng)絡(luò)與動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) (DBN) 一起用于上下文敏感關(guān)鍵字檢測。
?
5.10.4 Variational Bi-LSTM
Shabanian 等人 (2017) 提出了變分雙向 LSTM（Variational Bi-LSTM），它是雙向 LSTM 體系結(jié)構(gòu)的變體。Variational Bi-LSTM 使用變分自編碼器 (VAE) 在 LSTM 之間創(chuàng)建一個(gè)信息交換通道，以學(xué)習(xí)更好的表征。
?
5.11 谷歌神經(jīng)機(jī)器翻譯
Wu 等人 (2016) 提出了名為谷歌神經(jīng)機(jī)器翻譯 (GNMT) 的自動(dòng)翻譯系統(tǒng)，該系統(tǒng)結(jié)合了編碼器網(wǎng)絡(luò)、解碼器網(wǎng)絡(luò)和注意力網(wǎng)絡(luò)，遵循共同的序列對(duì)序列 (sequence-to-sequence) 的學(xué)習(xí)框架。
?
5.12 Fader Network
Lample 等人 (2017) 提出了 Fader 網(wǎng)絡(luò)，這是一種新型的編碼器-解碼器架構(gòu)，通過改變屬性值來生成真實(shí)的輸入圖像變化。
?
5.13 超網(wǎng)絡(luò)
Ha 等人 (2016) 提出的超網(wǎng)絡(luò)（Hyper Networks）為其他神經(jīng)網(wǎng)絡(luò)生成權(quán)值，如靜態(tài)超網(wǎng)絡(luò)卷積網(wǎng)絡(luò)、用于循環(huán)網(wǎng)絡(luò)的動(dòng)態(tài)超網(wǎng)絡(luò)。
Deutsch(2018) 使用超網(wǎng)絡(luò)生成神經(jīng)網(wǎng)絡(luò)。
?
5.14 Highway Networks
Srivastava 等人 (2015) 提出了高速路網(wǎng)絡(luò)（Highway Networks），通過使用門控單元來學(xué)習(xí)管理信息。跨多個(gè)層次的信息流稱為信息高速路。
?
5.14.1 Recurrent Highway Networks
Zilly 等人 (2017) 提出了循環(huán)高速路網(wǎng)絡(luò) (Recurrent Highway Networks，RHN)，它擴(kuò)展了長短期記憶 (LSTM) 架構(gòu)。RHN 在周期性過渡中使用了 Highway 層。
?
5.15 Highway LSTM RNN
Zhang 等人 (2016) 提出了高速路長短期記憶 (high - Long short Memory, HLSTM) RNN，它在相鄰層的內(nèi)存單元之間擴(kuò)展了具有封閉方向連接 (即 Highway) 的深度 LSTM 網(wǎng)絡(luò)。
?
5.16 長期循環(huán) CNN
Donahue 等人 (2014) 提出了長期循環(huán)卷積網(wǎng)絡(luò) (LRCN)，它使用 CNN 進(jìn)行輸入，然后使用 LSTM 進(jìn)行遞歸序列建模并生成預(yù)測。
?
5.17 深度神經(jīng) SVM
Zhang 等人 (2015) 提出了深度神經(jīng) SVM(DNSVM)，它以支持向量機(jī) (Support Vector Machine, SVM) 作為深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network, DNN) 分類的頂層。
?
5.18 卷積殘差記憶網(wǎng)絡(luò)
Moniz 和 Pal(2016) 提出了卷積殘差記憶網(wǎng)絡(luò)，將記憶機(jī)制并入卷積神經(jīng)網(wǎng)絡(luò) (CNN)。它用一個(gè)長短期記憶機(jī)制來增強(qiáng)卷積殘差網(wǎng)絡(luò)。
?
5.19 分形網(wǎng)絡(luò)
Larsson 等人 (2016) 提出分形網(wǎng)絡(luò)即 FractalNet 作為殘差網(wǎng)絡(luò)的替代方案。他們聲稱可以訓(xùn)練超深度的神經(jīng)網(wǎng)絡(luò)而不需要?dú)埐顚W(xué)習(xí)。分形是簡單擴(kuò)展規(guī)則生成的重復(fù)架構(gòu)。
?
5.20 WaveNet
van den Oord 等人 (2016) 提出了用于產(chǎn)生原始音頻的深度神經(jīng)網(wǎng)絡(luò) WaveNet。WaveNet 由一堆卷積層和 softmax 分布層組成，用于輸出。
Rethage 等人 (2017) 提出了一個(gè) WaveNet 模型用于語音去噪。
?
5.21 指針網(wǎng)絡(luò)
Vinyals 等人 (2017) 提出了指針網(wǎng)絡(luò) (Ptr-Nets)，通過使用一種稱為「指針」的 softmax 概率分布來解決表征變量字典的問題。
6. 深度生成模型
在本節(jié)中，我們將簡要討論其他深度架構(gòu)，它們使用與深度神經(jīng)網(wǎng)絡(luò)類似的多個(gè)抽象層和表示層，也稱為深度生成模型 (deep generate Models, DGM)。Bengio(2009) 解釋了深層架構(gòu)，例如 Boltzmann machine (BM) 和 Restricted Boltzmann Machines (RBM) 等及其變體。
Goodfellow 等人 (2016) 詳細(xì)解釋了深度生成模型，如受限和非受限的玻爾茲曼機(jī)及其變種、深度玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò) (DBN)、定向生成網(wǎng)絡(luò)和生成隨機(jī)網(wǎng)絡(luò)等。
Maal?e 等人（2016）提出了輔助的深層生成模型（Auxiliary Deep Generative Models），在這些模型中，他們擴(kuò)展了具有輔助變量的深層生成模型。輔助變量利用隨機(jī)層和跳過連接生成變分分布。
Rezende 等人 (2016) 開發(fā)了一種深度生成模型的單次泛化。
?
6.1 玻爾茲曼機(jī)
玻爾茲曼機(jī)是學(xué)習(xí)任意概率分布的連接主義方法，使用最大似然原則進(jìn)行學(xué)習(xí)。
?
6.2 受限玻爾茲曼機(jī)
受限玻爾茲曼機(jī) (Restricted Boltzmann Machines, RBM) 是馬爾可夫隨機(jī)場的一種特殊類型，包含一層隨機(jī)隱藏單元，即潛變量和一層可觀測變量。
Hinton 和 Salakhutdinov(2011) 提出了一種利用受限玻爾茲曼機(jī) (RBM) 進(jìn)行文檔處理的深度生成模型。
?
6.3 深度信念網(wǎng)絡(luò)
深度信念網(wǎng)絡(luò) (Deep Belief Networks, DBN) 是具有多個(gè)潛在二元或真實(shí)變量層的生成模型。
Ranzato 等人 (2011) 利用深度信念網(wǎng)絡(luò) (deep Belief Network, DBN) 建立了深度生成模型進(jìn)行圖像識(shí)別。
?
6.4 深度朗伯網(wǎng)絡(luò)
Tang 等人 (2012) 提出了深度朗伯網(wǎng)絡(luò) (Deep Lambertian Networks，DLN)，它是一個(gè)多層次的生成模型，其中潛在的變量是反照率、表面法線和光源。DLNis 是朗伯反射率與高斯受限玻爾茲曼機(jī)和深度信念網(wǎng)絡(luò)的結(jié)合。
?
6.5 生成對(duì)抗網(wǎng)絡(luò)
Goodfellow 等人 (2014) 提出了生成對(duì)抗網(wǎng)絡(luò) (generate Adversarial Nets, GAN)，用于通過對(duì)抗過程來評(píng)估生成模型。GAN 架構(gòu)是由一個(gè)針對(duì)對(duì)手（即一個(gè)學(xué)習(xí)模型或數(shù)據(jù)分布的判別模型）的生成模型組成。Mao 等人 (2016)、Kim 等人 (2017) 對(duì) GAN 提出了更多的改進(jìn)。
Salimans 等人 (2016) 提出了幾種訓(xùn)練 GANs 的方法。
?
6.5.1 拉普拉斯生成對(duì)抗網(wǎng)絡(luò)
Denton 等人 (2015) 提出了一種深度生成模型 (DGM)，叫做拉普拉斯生成對(duì)抗網(wǎng)絡(luò) (LAPGAN)，使用生成對(duì)抗網(wǎng)絡(luò) (GAN) 方法。該模型還在拉普拉斯金字塔框架中使用卷積網(wǎng)絡(luò)。
?
6.6 循環(huán)支持向量機(jī)
Shi 等人 (2016a) 提出了循環(huán)支持向量機(jī) (RSVM)，利用循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 從輸入序列中提取特征，用標(biāo)準(zhǔn)支持向量機(jī) (SVM) 進(jìn)行序列級(jí)目標(biāo)識(shí)別。
7. 訓(xùn)練和優(yōu)化技術(shù)
在本節(jié)中，我們將簡要概述一些主要的技術(shù)，用于正則化和優(yōu)化深度神經(jīng)網(wǎng)絡(luò) (DNN)。
?
7.1 Dropout
Srivastava 等人 (2014) 提出 Dropout，以防止神經(jīng)網(wǎng)絡(luò)過擬合。Dropout 是一種神經(jīng)網(wǎng)絡(luò)模型平均正則化方法，通過增加噪聲到其隱藏單元。在訓(xùn)練過程中，它會(huì)從神經(jīng)網(wǎng)絡(luò)中隨機(jī)抽取出單元和連接。Dropout 可以用于像 RBM (Srivastava et al.，2014) 這樣的圖形模型中，也可以用于任何類型的神經(jīng)網(wǎng)絡(luò)。最近提出的一個(gè)關(guān)于 Dropout 的改進(jìn)是 Fraternal Dropout，用于循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)。
?
7.2 Maxout
Goodfellow 等人 (2013) 提出 Maxout，一種新的激活函數(shù)，用于 Dropout。Maxout 的輸出是一組輸入的最大值，有利于 Dropout 的模型平均。
?
7.3 Zoneout
Krueger 等人 (2016) 提出了循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 的正則化方法 Zoneout。Zoneout 在訓(xùn)練中隨機(jī)使用噪音，類似于 Dropout，但保留了隱藏的單元而不是丟棄。
?
7.4 深度殘差學(xué)習(xí)
He 等人 (2015) 提出了深度殘差學(xué)習(xí)框架，該框架被稱為低訓(xùn)練誤差的 ResNet。
?
7.5 批歸一化
Ioffe 和 Szegedy(2015) 提出了批歸一化，通過減少內(nèi)部協(xié)變量移位來加速深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法。Ioffe(2017) 提出批重歸一化，擴(kuò)展了以前的方法。
?
7.6 Distillation
Hinton 等人 (2015) 提出了將知識(shí)從高度正則化模型的集合 (即神經(jīng)網(wǎng)絡(luò)) 轉(zhuǎn)化為壓縮小模型的方法。
?
7.7 層歸一化
Ba 等人 (2016) 提出了層歸一化，特別是針對(duì) RNN 的深度神經(jīng)網(wǎng)絡(luò)加速訓(xùn)練，解決了批歸一化的局限性。
8. 深度學(xué)習(xí)框架
有大量的開源庫和框架可供深度學(xué)習(xí)使用。它們大多數(shù)是為 Python 編程語言構(gòu)建的。如 Theano、Tensorflow、PyTorch、PyBrain、Caffe、Blocks and Fuel 、CuDNN、Honk、ChainerCV、PyLearn2、Chainer,、torch 等。
9. 深度學(xué)習(xí)的應(yīng)用
在本節(jié)中，我們將簡要地討論一些最近在深度學(xué)習(xí)方面的杰出應(yīng)用。自深度學(xué)習(xí) (DL) 開始以來，DL 方法以監(jiān)督、非監(jiān)督、半監(jiān)督或強(qiáng)化學(xué)習(xí)的形式被廣泛應(yīng)用于各個(gè)領(lǐng)域。從分類和檢測任務(wù)開始，DL 應(yīng)用正在迅速擴(kuò)展到每一個(gè)領(lǐng)域。
例如：
- 圖像分類與識(shí)別
- 視頻分類
- 序列生成
- 缺陷分類
- 文本、語音、圖像和視頻處理
- 文本分類
- 語音處理
- 語音識(shí)別和口語理解
- 文本到語音生成
- 查詢分類
- 句子分類
- 句子建模
- 詞匯處理
- 預(yù)選擇
- 文檔和句子處理
- 生成圖像文字說明
- 照片風(fēng)格遷移
- 自然圖像流形
- 圖像著色
- 圖像問答
- 生成紋理和風(fēng)格化圖像
- 視覺和文本問答
- 視覺識(shí)別和描述
- 目標(biāo)識(shí)別
- 文檔處理
- 人物動(dòng)作合成和編輯
- 歌曲合成
- 身份識(shí)別
- 人臉識(shí)別和驗(yàn)證
- 視頻動(dòng)作識(shí)別
- 人類動(dòng)作識(shí)別
- 動(dòng)作識(shí)別
- 分類和可視化動(dòng)作捕捉序列
- 手寫生成和預(yù)測
- 自動(dòng)化和機(jī)器翻譯
- 命名實(shí)體識(shí)別
- 移動(dòng)視覺
- 對(duì)話智能體
- 調(diào)用遺傳變異
- 癌癥檢測
- X 射線 CT 重建
- 癲癇發(fā)作預(yù)測
- 硬件加速
- 機(jī)器人
等。
Deng 和 Yu(2014) 提供了 DL 在語音處理、信息檢索、目標(biāo)識(shí)別、計(jì)算機(jī)視覺、多模態(tài)、多任務(wù)學(xué)習(xí)等領(lǐng)域應(yīng)用的詳細(xì)列表。
使用深度強(qiáng)化學(xué)習(xí) (Deep Reinforcement Learning, DRL) 來掌握游戲已經(jīng)成為當(dāng)今的一個(gè)熱門話題。每到現(xiàn)在，人工智能機(jī)器人都是用 DNN 和 DRL 創(chuàng)建的，它們?cè)趹?zhàn)略和其他游戲中擊敗了人類世界冠軍和象棋大師，從幾個(gè)小時(shí)的訓(xùn)練開始。例如圍棋的 AlphaGo 和 AlphaGo Zero。
10. 討論
盡管深度學(xué)習(xí)在許多領(lǐng)域取得了巨大的成功，但它還有很長的路要走。還有很多地方有待改進(jìn)。至于局限性，例子也是相當(dāng)多的。例如：Nguyen 等人表明深度神經(jīng)網(wǎng)絡(luò)（DNN）在識(shí)別圖像時(shí)容易被欺騙。還有其他問題，如 Yosinski 等人提出的學(xué)習(xí)的特征可遷移性。Huang 等人提出了一種神經(jīng)網(wǎng)絡(luò)攻擊防御的體系結(jié)構(gòu)，認(rèn)為未來的工作需要防御這些攻擊。Zhang 等人則提出了一個(gè)理解深度學(xué)習(xí)模型的實(shí)驗(yàn)框架，他們認(rèn)為理解深度學(xué)習(xí)需要重新思考和概括。
Marcus 在 2018 年對(duì)深度學(xué)習(xí) (Deep Learning, DL) 的作用、局限性和本質(zhì)進(jìn)行了重要的回顧。他強(qiáng)烈指出了 DL 方法的局限性，即需要更多的數(shù)據(jù)，容量有限，不能處理層次結(jié)構(gòu)，無法進(jìn)行開放式推理，不能充分透明，不能與先驗(yàn)知識(shí)集成，不能區(qū)分因果關(guān)系。他還提到，DL 假設(shè)了一個(gè)穩(wěn)定的世界，以近似方法實(shí)現(xiàn)，工程化很困難，并且存在著過度炒作的潛在風(fēng)險(xiǎn)。Marcus 認(rèn)為 DL 需要重新概念化，并在非監(jiān)督學(xué)習(xí)、符號(hào)操作和混合模型中尋找可能性，從認(rèn)知科學(xué)和心理學(xué)中獲得見解，并迎接更大膽的挑戰(zhàn)。
?
11. 結(jié)論
盡管深度學(xué)習(xí)（DL）比以往任何時(shí)候都更快地推進(jìn)了世界的發(fā)展，但仍有許多方面值得我們?nèi)パ芯俊Ｎ覀內(nèi)匀粺o法完全地理解深度學(xué)習(xí)，我們?nèi)绾巫寵C(jī)器變得更聰明，更接近或比人類更聰明，或者像人類一樣學(xué)習(xí)。DL 一直在解決許多問題，同時(shí)將技術(shù)應(yīng)用到方方面面。但是人類仍然面臨著許多難題，例如仍有人死于饑餓和糧食危機(jī), 癌癥和其他致命的疾病等。我們希望深度學(xué)習(xí)和人工智能將更加致力于改善人類的生活質(zhì)量，通過開展最困難的科學(xué)研究。最后但也是最重要的，愿我們的世界變得更加美好。
總結(jié)
以上是生活随笔為你收集整理的新手的深度学习综述 | 入门的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习笔记——基于传统机器学习算法（L
- 下一篇： 深度学习笔记：Tensorflow手写m