深度學(xué)習(xí)

幾個(gè)重要的概念：

人工智能：讓機(jī)器具備人的思維和意識。
人工智能的三大學(xué)派：

1. 行為主義：基于控制論，構(gòu)建感知-動(dòng)作控制系統(tǒng)。2. 符號主義：基于算術(shù)邏輯表達(dá)式，求解問題是先把問題描述為表達(dá)式，再求解。3. 聯(lián)結(jié)主義：仿生學(xué)，模仿神經(jīng)元連接關(guān)系。中心思想：當(dāng)網(wǎng)絡(luò)將大量簡單的計(jì)算單元連接在一起時(shí)，可以實(shí)現(xiàn)智能行為。

機(jī)器學(xué)習(xí)：軟件系統(tǒng)需要具備自己獲取知識的能力，即從原始數(shù)據(jù)中提取模式的能力。
表示學(xué)習(xí)：使用機(jī)器學(xué)習(xí)來發(fā)掘表示本身，而不僅僅把表示映射到輸出，這種方法稱之為表示學(xué)習(xí)。
深度學(xué)習(xí)：通過較簡單的表示來表達(dá)復(fù)雜表示，解決了表示學(xué)習(xí)的核心問題（提取高層次，抽象的特征）。
下圖是不同AI學(xué)科之間的關(guān)系：

深度學(xué)習(xí)的發(fā)展歷程

現(xiàn)在我們認(rèn)為深度學(xué)習(xí)經(jīng)歷3次發(fā)展浪潮：
第一次浪潮：開始于20世紀(jì)40年代-60年代的控制論，隨著生物學(xué)習(xí)理論的發(fā)展（McCulloch and Pitts，1943年；Hebb，1949年）和第一個(gè)模型的實(shí)現(xiàn)（eg. 感知機(jī)(Rosenblatt，1958年)），能實(shí)現(xiàn)單個(gè)神經(jīng)元的訓(xùn)練。
McCulloch-Pitts 神經(jīng)元是腦功能的早期模型。該線性模型通過檢驗(yàn)函數(shù) $f(x,w)$ 的正負(fù)來識別兩種不同類別的輸入。顯然，模型的權(quán)重需要正確設(shè)置后才能使模型的輸出對應(yīng)于期望的類別。這些權(quán)重可以由操作人員設(shè)定。
在 20 世紀(jì) 50 年代，感知機(jī) (Rosenblatt, 1956, 1958) 成為第一個(gè)能根據(jù)每個(gè)類別的輸入樣本來學(xué)習(xí)權(quán)重的模型。約在同一時(shí)期，自適應(yīng)線性單元 (adaptive linearelement, ADALINE) 簡單地返回函數(shù) $f(x)$ 本身的值來預(yù)測一個(gè)實(shí)數(shù) (Widrow and Ho?, 1960)，并且它還可以學(xué)習(xí)從數(shù)據(jù)預(yù)測這些數(shù)。用于調(diào)節(jié) ADALINE 權(quán)重的訓(xùn)練算法是被稱為隨機(jī)梯度下降（stochastic gradient descent）的一種特例。
基于感知機(jī)和 ADALINE 中使用的函數(shù) $f(x,w)$ 的模型被稱為線性模型（linear model）。
線性模型有很多局限，最著名的就是無法學(xué)習(xí)異或（XOR）函數(shù)。線性模型這個(gè)缺陷的批評者對受生物學(xué)啟發(fā)的學(xué)習(xí)普遍地產(chǎn)生了抵觸（Minsky and Papert，1969年），這導(dǎo)致了神經(jīng)網(wǎng)絡(luò)熱潮的第一次大衰退。
第二次浪潮：開始于1980-1995年見的聯(lián)結(jié)主義方法，可以使用反向傳播（Rumelhart et al. ,1986a
）訓(xùn)練具有一兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。
在20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)研究的第二次浪潮在很大程度上是伴隨一個(gè)被稱為聯(lián)結(jié)主義（connectionism）或并行分布處理 ( parallel distributed processing) 潮流而出現(xiàn)的 (Rumelhart et al., 1986d; McClelland et al., 1995)。聯(lián)結(jié)主義是在認(rèn)知 科學(xué)的背景下出現(xiàn)的。認(rèn)知科學(xué)是理解思維的跨學(xué)科途徑，即它融合多個(gè)不同的分析層次。在 20 世紀(jì) 80 年代初期，大多數(shù)認(rèn)知科學(xué)家研究符號推理模型。盡管這很流行，但符號模型很難解釋大腦如何真正使用神經(jīng)元實(shí)現(xiàn)推理功能。聯(lián)結(jié)主義者開始研究真正基于神經(jīng)系統(tǒng)實(shí)現(xiàn)的認(rèn)知模型 (Touretzky and Minton, 1985)，其中很多復(fù)蘇的想法可以追溯到心理學(xué)家 Donald Hebb。
聯(lián)結(jié)主義的中心思想是，當(dāng)網(wǎng)絡(luò)將大量簡單的計(jì)算單元連接在一起時(shí)可以實(shí)現(xiàn) 智能行為。這種見解同樣適用于生物神經(jīng)系統(tǒng)中的神經(jīng)元，因?yàn)樗陀?jì)算模型中隱 藏單元起著類似的作用。
分布式表示（distributed representation）(Hinton et al., 1986)。 其思想是：系統(tǒng)的每一個(gè)輸入都應(yīng)該由多個(gè)特征表示，并且每一個(gè)特征都應(yīng)該參與 到多個(gè)可能輸入的表示。
聯(lián)結(jié)主義潮流的另一個(gè)重要成就是反向傳播在訓(xùn)練具有內(nèi)部表示的深度神經(jīng)網(wǎng)絡(luò)中的成功使用以及反向傳播算法的普及 (Rumelhart et al., 1986c; LeCun, 1987)。 這個(gè)算法雖然曾黯然失色不再流行，它仍是訓(xùn)練深度模型的主導(dǎo)方法。
在 20 世紀(jì) 90 年代，研究人員在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行序列建模的方面取得了重要進(jìn)展。Hochreiter (1991b) 和 Bengio et al. (1994a) 指出了對長序列進(jìn)行建模的一 些根本性數(shù)學(xué)難題，這將在第10.7節(jié)中描述。Hochreiter and Schmidhuber (1997) 引入長短期記憶（long short-term memory, LSTM）網(wǎng)絡(luò)來解決這些難題。
基于神經(jīng)網(wǎng)絡(luò)和其他AI技術(shù)的創(chuàng)業(yè)公司開始尋求投資，其做法野心勃勃但不切實(shí)際。當(dāng)AI研究不能實(shí) 現(xiàn)這些不合理的期望時(shí)，投資者感到失望。同時(shí)，機(jī)器學(xué)習(xí)的其他領(lǐng)域取得了進(jìn)步。 比如，核方法 (Boser et al., 1992; Cortes and Vapnik, 1995; Sch?lkopf et al., 1999) 和圖模型 (Jordan, 1998) 都在很多重要任務(wù)上實(shí)現(xiàn)了很好的效果。這兩個(gè)因素導(dǎo)致 了神經(jīng)網(wǎng)絡(luò)熱潮的第二次衰退，并一直持續(xù)到 2007 年。
第三次浪潮：開始于2006年神經(jīng)網(wǎng)絡(luò)研究的突破。Geo?rey Hinton 表明名為深 度信念網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)可以使用一種稱為貪婪逐層預(yù)訓(xùn)練的策略來有效地訓(xùn)練 (Hinton et al., 2006a)。神經(jīng)網(wǎng)絡(luò)研究的這一次浪潮普及了 “深度學(xué)習(xí)’’ 這一術(shù)語的使用，強(qiáng)調(diào)研究者 現(xiàn)在有能力訓(xùn)練以前不可能訓(xùn)練的比較深的神經(jīng)網(wǎng)絡(luò)，并著力于深度的理論重要 性上 (Bengio and LeCun, 2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014）。
下圖展示了神經(jīng)網(wǎng)絡(luò)的發(fā)展時(shí)間：

經(jīng)典卷積

LeNet（1998年）—> AlexNet（2012年）—> VGGNet（2014年）—> googLeNet（2014年）—> ResNet（2015年）—> DenseNet（2017年，CVPR, Best paper）
LeNet由Yann LeCun于1998年提出，是卷積網(wǎng)絡(luò)的開篇之作。（論文：Gradient-based learning applied to document recognition）。
AlexNet在2012年ImageNet競賽中以超過第二名10.9個(gè)百分點(diǎn)的絕對優(yōu)勢一舉奪冠，從此深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)名聲鵲起，深度學(xué)習(xí)的研究如雨后春筍般出現(xiàn)。
VGG-Net是由牛津大學(xué)VGG（Visual Geometry Group）提出，是2014年ImageNet競賽定位任務(wù)的第一名和分類任務(wù)的第二名的中的基礎(chǔ)網(wǎng)絡(luò)。VGG可以看成是加深版本的AlexNet。
GoogLeNet在2014的ImageNet分類任務(wù)上擊敗了VGG-Nets奪得冠軍。GoogLeNet在加深網(wǎng)絡(luò)的同時(shí)（22層），也在網(wǎng)絡(luò)結(jié)構(gòu)上做了創(chuàng)新，引入Inception結(jié)構(gòu)代替了單純的卷積+激活的傳統(tǒng)操作（這思路最早由Network in Network提出）。
ResNet是2015年何愷明推出的，在ISLVRC和COCO上橫掃所有選手，獲得冠軍。
DenseNet是CVPR 2017最佳論文DenseNet（Dense Convolutional Network）,其主要和ResNet及Inception網(wǎng)絡(luò)做對比，思想上有借鑒，但卻是全新的結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)并不復(fù)雜，卻非常有效，在CIFAR指標(biāo)上全面超越ResNet。可以說DenseNet吸收了ResNet最精華的部分，并在此上做了更加創(chuàng)新的工作，使得網(wǎng)絡(luò)性能進(jìn)一步提升。

總結(jié)

以上是生活随笔為你收集整理的深度学习---0 介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。