??????? 深度學(xué)習(xí)為深度神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)。07年最先引起注目的是DNN，在語音識(shí)別上有突出的表現(xiàn)；深度CNN在機(jī)器視覺領(lǐng)域的超常表現(xiàn)引領(lǐng)模式識(shí)別領(lǐng)域科學(xué)界和工業(yè)界的潮流，基于圖像數(shù)據(jù)本身的二維結(jié)構(gòu)天然適合CNN處理；RNN對(duì)時(shí)序和變長數(shù)據(jù)的處理優(yōu)勢(shì)促使語音識(shí)別和視頻分析又有較大發(fā)展；此外可應(yīng)用于增強(qiáng)學(xué)習(xí)的新的深度網(wǎng)絡(luò)形式可以完成游戲策略訓(xùn)練過程，提供端到端的 模型訓(xùn)練方式：DeepMind用ReinforcementLearning玩游戲。

??????? 原文鏈接：專家深談：深度學(xué)習(xí)成功的啟示，以及，為什么它不能解決全部AI問題？

??????? 本文對(duì)原文有少量引用，觀點(diǎn)不盡相同。

作為歸納系統(tǒng)的深度學(xué)習(xí)

??????? AI的一個(gè)重要理論分支為模式識(shí)別，其中另外一個(gè)理論系統(tǒng)為專家系統(tǒng)；模式識(shí)別分離處基于ND系統(tǒng)的模式識(shí)別和基于數(shù)據(jù)的模式識(shí)別即是機(jī)器學(xué)習(xí)；機(jī)器學(xué)習(xí)有眾多方法，大多數(shù)分類器在數(shù)學(xué)模型上可形式化為不同形式的神經(jīng)網(wǎng)絡(luò)。

??????? 理論上：一個(gè)分類模型發(fā)展到更多的類和更精準(zhǔn)的回歸/識(shí)別準(zhǔn)確率，需要極其復(fù)雜的函數(shù)映射，可以將問題空間的問題準(zhǔn)確映射到一維向量空間中的離散個(gè)點(diǎn)上。每個(gè)類別映射對(duì)應(yīng)的函數(shù)形成的函數(shù)叢極其復(fù)雜，而特定結(jié)構(gòu)的集成學(xué)習(xí)算法只能描述特定類型的函數(shù)映射，結(jié)構(gòu)上難以靈活完成此任務(wù)。

??????? 形式上：特定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)理論上可以以任意精度逼近任意復(fù)雜的函數(shù)映射，只要參數(shù)足夠。神經(jīng)網(wǎng)絡(luò)弱化了函數(shù)叢的表象，以網(wǎng)絡(luò)參數(shù)的形式完成函數(shù)層級(jí)映射。根據(jù)連乘的組合分析，分層的思想可在保證函數(shù)個(gè)數(shù)一致同時(shí)降低參數(shù)個(gè)數(shù)，因此在識(shí)別運(yùn)算過程中降低了總乘法次數(shù)，降低計(jì)算量。此外，集成學(xué)習(xí)方法因函數(shù)映射形式固定，參數(shù)降低也只能根據(jù)在模型框架約束下進(jìn)行，效果相對(duì)較差。

??????

深度學(xué)習(xí)的優(yōu)勢(shì)

????? ? 更多的類別，更高的精度。理論上需要更復(fù)雜的函數(shù)叢，因此需要更多的數(shù)據(jù)進(jìn)行訓(xùn)練，在訓(xùn)練過程中需要大量的計(jì)算。

??????? 集成學(xué)習(xí)的思路是由少到多，以此解決多類分類的精度問題，而深度學(xué)習(xí)以逐層分解的思想來解決類別問題和精度問題，最終表現(xiàn)為相同效果的模型深度網(wǎng)絡(luò)的參數(shù)更少，這樣在分類 和回歸的時(shí)候計(jì)算量更小。此外，VC維作為模型學(xué)習(xí)能力的描述，發(fā)現(xiàn)集成學(xué)習(xí)模型有其固有的約束，在超多類分類和精確度上都有特定的工程化困難。

?????? 大數(shù)據(jù)不是深度學(xué)習(xí)的特性，只是多類和高精度的必然。但不可否認(rèn)，即使訓(xùn)練相同的類數(shù)和精度的模型，深度學(xué)習(xí)比集成學(xué)習(xí)方法仍需要更多的數(shù)據(jù)，模型訓(xùn)練時(shí)也需要更多的計(jì)算量，這是由神經(jīng)網(wǎng)絡(luò)的本質(zhì)所決定的。

?????? 優(yōu)勢(shì)：不受限制的VC維帶來更多類的識(shí)別能力，以及分層思想帶來更快的分類速度。

深度學(xué)習(xí)走近人工智能

???? ?? AI的標(biāo)準(zhǔn)測(cè)試為圖靈測(cè)試，即所見即所得。ANN多年未靠近AI，而DNN為何被稱為希望。因?yàn)檎麄€(gè)智能可以簡單地劃分為分類和決策過程（分類+觸發(fā)器），更高級(jí)的智能意味著感受更復(fù)雜的環(huán)境，得出更精確的判斷和決策（更細(xì)的粒度、更小的損失），形式上類似于實(shí)現(xiàn)更多的分類。

???? ? 在數(shù)學(xué)默描述上有相似之處，DNN參數(shù)的減少帶來的超多類的識(shí)別在特定的領(lǐng)域足以覆蓋簡單的智能范疇，并可以看似無縫的領(lǐng)域集成，因此DNN被稱為AI的希望。此外，網(wǎng)絡(luò)層狀結(jié)構(gòu)更接近于人類已知的智能決策過程，更被注入更多接近智能結(jié)構(gòu)的希望。

?????? 第一哲學(xué)原理：世界并不是以小包的形式來到我們面前，但智慧代表著我們對(duì)他們?cè)趺磩澐忠约霸鯓討?yīng)對(duì)和決策，更高的智慧要求更精細(xì)的劃分，整個(gè)哲學(xué)即是找到完備的劃分以及應(yīng)對(duì)完備劃分的通用決策策略。

????? 3D分形奇觀

特征學(xué)習(xí)與結(jié)構(gòu)學(xué)習(xí)

??????? 深度學(xué)習(xí)以“數(shù)據(jù)驅(qū)動(dòng)”范式顛覆了“人造特征”范式，完成“特征學(xué)習(xí)”，這是一個(gè)重大的進(jìn)步。但與此同時(shí)，它自己又陷入了一個(gè)“人造結(jié)構(gòu)”窠臼中。06年hinton教授發(fā)表在nature上的最初的論文，多層壓縮映射。給出的深度學(xué)習(xí)的方案是無監(jiān)督學(xué)習(xí)獲取網(wǎng)絡(luò)結(jié)構(gòu)，之后再通過有監(jiān)督學(xué)習(xí)優(yōu)化參數(shù)，DNN網(wǎng)絡(luò)的引爆點(diǎn)恰恰是結(jié)構(gòu)學(xué)習(xí)。大量利用未標(biāo)記數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是深度學(xué)習(xí)最初的構(gòu)想。

　　但無論Hinton教授組最初設(shè)計(jì)的AlexNet，還是后來的VGG，GoogLeNet，ResNet等等，都是富有經(jīng)驗(yàn)的專家人工設(shè)計(jì)出來的。給定一個(gè)新問題，到底什么樣的網(wǎng)絡(luò)結(jié)構(gòu)是最佳的（如多少卷積層）卻不得而知，這在一定程度上阻礙了深度學(xué)習(xí)在更多智能任務(wù)上的普及和應(yīng)用。因此，同時(shí)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)是一個(gè)值得大力關(guān)注的研究方向。

???? ?? 而2006年Hinton教授等人倡導(dǎo)的卻恰恰是利用無監(jiān)督學(xué)習(xí)來對(duì)深層神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。利用超量的數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)更耗費(fèi)時(shí)間和計(jì)算能力的事情。此后，特別是DCNN興起之后，無監(jiān)督的預(yù)訓(xùn)練似乎已經(jīng)被很多研究者所拋棄（特別是在CV領(lǐng)域）。 　　

??????? 直接從大量無監(jiān)督數(shù)據(jù)中學(xué)習(xí)模型確實(shí)是非常困難的，即便是人這部“機(jī)器”，也有“狼孩”的例子警告我們“無師自通”似乎是不現(xiàn)實(shí)的。但“少量有導(dǎo)師數(shù)據(jù)+大量無導(dǎo)師數(shù)據(jù)”的模式也許是更值得大力研究的。

???????

人工智能與局部最優(yōu)

??????? 古老的哲學(xué)難題里有一個(gè)重要的人生哲理的隱喻，推廣到了人生意義的所有選擇與價(jià)值討論，即是走過一遍的麥田問題，如何選取最大的麥穗。當(dāng)然以這個(gè)哲學(xué)問題討論最優(yōu)是不恰當(dāng)?shù)?#xff0c;時(shí)間線上更具有未知的復(fù)雜性。而面對(duì)更多的約束函數(shù)，如何選取最優(yōu)解，當(dāng)全局優(yōu)化計(jì)算能力不夠時(shí)，分治法是解決問題的一般方法。

??????? 天然的人工智能永遠(yuǎn)是局部最優(yōu)的，讓一個(gè)人變得聰明比讓一個(gè)機(jī)器變得聰明更加困難。從工程學(xué)的角度看，復(fù)雜問題的解決思路永遠(yuǎn)是分治法，復(fù)雜度分解是構(gòu)架師最先掌握的技能，把大的問題分解為簡單、清晰的子問題，逐個(gè)解決，得到最后的解。盡管從深度學(xué)習(xí)的視角來看，其劣勢(shì)是明顯的：子問題最優(yōu)未必意味著全局的最優(yōu)，每個(gè)子步驟是最優(yōu)的也不意味著全過程來看是最優(yōu)的。但對(duì)于智能系統(tǒng)來說，這是一般的解決問題的思路。

??????? 哲學(xué)用離散性來分析問題域，而機(jī)器學(xué)習(xí)模型引入非線性來表示問題復(fù)雜度。在機(jī)器學(xué)習(xí)的范疇里，眾多復(fù)雜問題本質(zhì)上是高度非線性的，而深度學(xué)習(xí)實(shí)現(xiàn)了從輸入到輸出的非線性變換，這是深度學(xué)習(xí)在眾多復(fù)雜問題上取得突破的重要原因之一。

???? ? 在深度學(xué)習(xí)之前，眾多線性模型或近似線性模型曾大行其道。特別是從上個(gè)世紀(jì)90年代開始，以判別式降維為目的的線性子空間方法得到大家的重視，如主成分分析，Fisher線性判別分析，獨(dú)立成分分析等。后來，為了處理非線性問題，Kernel技巧、流形學(xué)習(xí)等非線性處理方法相繼得到重視。其中Kernel方法試圖實(shí)現(xiàn)對(duì)原始輸入的非線性變換，但卻無法定義顯式的非線性變換，只能借助有限種類的kernel函數(shù)，定義目標(biāo)空間中的點(diǎn)積，間接實(shí)現(xiàn)非線性。

??????? 而2000年之后曾一度廣受重視的流形學(xué)習(xí)方法則試圖通過對(duì)樣本點(diǎn)之間測(cè)地距離或局部鄰域關(guān)系的保持來學(xué)習(xí)非線性映射，遺憾的是這類方法難以真正實(shí)現(xiàn)對(duì)非訓(xùn)練樣本的顯式非線性變換。而深度學(xué)習(xí)則通過作用于大量神經(jīng)元的非線性激活函數(shù)（如Sigmoid或ReLU），獲得了可以適配足夠復(fù)雜的非線性變換的能力。

??????? 深度學(xué)習(xí)更強(qiáng)調(diào)端到端的學(xué)習(xí)（end-to-end learning），即：不去人為的分步驟或者劃分子問題，而是完全交給神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)從原始輸入到期望輸出的映射。相比分治策略，端到端的學(xué)習(xí)具有協(xié)同增效（synergy）的優(yōu)勢(shì)，有更大的可能獲得全局上更優(yōu)的解。當(dāng)然，如果我們一定要把分層看成是“子步驟或子問題”也是可以的，但這些分層各自完成什么功能并不是我們預(yù)先設(shè)定好的，而是通過基于數(shù)據(jù)的全局優(yōu)化來自動(dòng)學(xué)習(xí)的。

作為歸納系統(tǒng)的深度學(xué)習(xí)

???????? 整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)，現(xiàn)有流行的CNN以及各種變體，用于語音和視頻處理的RNN，“特征學(xué)習(xí)”以及“結(jié)構(gòu)學(xué)習(xí)”，都是一種歸納學(xué)習(xí)。通過大量標(biāo)記數(shù)據(jù)訓(xùn)練，使用梯度下降法得到一個(gè)逼近精確的回歸模型，則完成學(xué)習(xí)過程，這也正是監(jiān)督學(xué)習(xí)的精髓所在。而非監(jiān)督學(xué)習(xí)可以視為非人為設(shè)計(jì)結(jié)構(gòu)的數(shù)據(jù)驅(qū)動(dòng)歸納系統(tǒng)，由數(shù)據(jù)自動(dòng)學(xué)習(xí)調(diào)整模型的結(jié)構(gòu)，作為一個(gè)數(shù)據(jù)驅(qū)動(dòng)的模型歸納系統(tǒng)。

???????

歸納與演繹以及學(xué)習(xí)與泛化

??????? 從一般原理出發(fā)進(jìn)行演繹是人類的另一重要能力，特別是在認(rèn)知和決策過程中，我們大量依賴演繹推理。而演繹推理在很多時(shí)候似乎與數(shù)據(jù)無關(guān)。例如，即使不給任何樣例，我們也可以依賴符號(hào)（語言）描述，來學(xué)會(huì)識(shí)別之前從未見過的某種物體。這樣的zero-shot學(xué)習(xí)問題看似超出了深度學(xué)習(xí)的觸角范疇，但也許未必不可企及。例如，近年來越來越多的基于深度學(xué)習(xí)的產(chǎn)生式模型正在努力實(shí)現(xiàn)從符號(hào)（概念）到圖像的生成。

??????? 往DNN里面塞入成千上萬個(gè)蘋果的圖像，必然可以讓模型識(shí)別在圖像二維張量空間近鄰分布的所有蘋果。但一個(gè)小孩子也許只見過一個(gè)蘋果，就會(huì)知道以后見到的水果是蘋果還是不是蘋果，而這個(gè)智能過程隱藏了未能分析到的特征歸納和演繹過程，這個(gè)過程到底能不能被深度學(xué)習(xí)所最終模仿，也許是深度學(xué)習(xí)能不能最終靠近AI的本質(zhì)能力。

??

總結(jié)

以上是生活随笔為你收集整理的人工机器：作为归纳系统的深度学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。