深度學(xué)習(xí)領(lǐng)域的學(xué)術(shù)研究可以包含四部分：優(yōu)化（Optimization），泛化（Generalization），表達（Representation）以及應(yīng)（Applications）。除了應(yīng)用（Applications）之外每個部分又可以分成實踐和理論兩個方面。

---

優(yōu)化（Optimization）：深度學(xué)習(xí)的問題最后似乎總能變成優(yōu)化問題，這個時候數(shù)值優(yōu)化的方法就變得尤其重要。

從實踐方面來說，現(xiàn)在最為推崇的方法依舊是隨機梯度遞減，這樣一個極其簡單的方法以其強悍的穩(wěn)定性深受廣大研究者的喜愛，而不同的人還會結(jié)合動量（momentum）、偽牛頓方法（Pseudo-Newton）以及自動步長等各種技巧。此外，深度學(xué)習(xí)模型優(yōu)化過程的并行化也是一個非常熱的點，近年在分布式系統(tǒng)的會議上相關(guān)論文也逐漸增多。

在理論方面，目前研究的比較清楚的還是凸優(yōu)化（Convex Optimization），而對于非凸問題的理論還嚴(yán)重空缺，然而深度學(xué)習(xí)大多數(shù)有效的方法都是非凸的?，F(xiàn)在有一些對深度學(xué)習(xí)常用模型及其目標(biāo)函數(shù)的特性研究，期待能夠發(fā)現(xiàn)非凸問題中局部最優(yōu)解的相關(guān)規(guī)律。

泛化（Generalization）：一個模型的泛化能力是指它在訓(xùn)練數(shù)據(jù)集上的誤差是否能夠接近所有可能測試數(shù)據(jù)誤差的均值。泛化誤差大致可以理解成測試數(shù)據(jù)集誤差和訓(xùn)練數(shù)據(jù)集誤差之差。在深度學(xué)習(xí)領(lǐng)域變流行之前，如何控制泛化誤差一直是機器學(xué)習(xí)領(lǐng)域的主流問題。

從實踐方面來說，之前許多人擔(dān)心的深度神經(jīng)網(wǎng)絡(luò)泛化能力較差的問題，在現(xiàn)實使用中并沒有表現(xiàn)得很明顯。這一方面源于大數(shù)據(jù)時代樣本巨大的數(shù)量，另一方面近年出現(xiàn)了一些新的在實踐上比較有效的控制泛化誤差（Regularization）的方法，比如Dropout和DropConnect，以及非常有效的數(shù)據(jù)擴增（Data Agumentation）技術(shù)。是否還有其它實踐中會比較有效的泛化誤差控制方法一直是研究者們的好奇點，比如是否可以通過博弈法避免過擬合，以及是否可以利用無標(biāo)記（Unlabeled）樣本來輔助泛化誤差的控制。

從理論方面來說，深度學(xué)習(xí)的有效性使得PAC學(xué)習(xí)（Probably Approximately Correct Learning）相關(guān)的理論倍受質(zhì)疑。這些理論無一例外地屬于“上界的上界”的一個證明過程，而其本質(zhì)無外乎各種集中不等式（Concentration Inequality）和復(fù)雜性度量（Complexity Measurement）的變種，因此它對深度學(xué)習(xí)模型有相當(dāng)不切實際的估計。這不應(yīng)該是泛函理論已經(jīng)較為發(fā)達的當(dāng)下出現(xiàn)的狀況，因此下一步如何能夠從理論上分析深度學(xué)習(xí)模型的泛化能力也會是一個有趣的問題。而這個研究可能還會牽涉表達（Representation，見下）的一些理論。

表達（Representation）：這方面主要指的是深度學(xué)習(xí)模型和它要解決的問題之間的關(guān)系，比如給出一個設(shè)計好的深度學(xué)習(xí)模型，它適合表達什么樣的問題，以及給定一個問題是否存在一個可以進行表達的深度學(xué)習(xí)模型。

這方面的實踐主要是兩個主流，一方面那些篤信無監(jiān)督學(xué)習(xí)（Unsupervised Learning）可行性的研究者們一直在尋找更好的無監(jiān)督學(xué)習(xí)目標(biāo)及其評價方法，以使得機器能夠自主進行表達學(xué)習(xí)變得可能。這實際上包括了受限波爾茲曼模型（Restricted Boltzmann Machine），稀疏編碼（Sparse Coding）和自編碼器（Auto-encoder）等。另一方面，面對實際問題的科學(xué)家們一直在憑借直覺設(shè)計深度學(xué)習(xí)模型的結(jié)構(gòu)來解決這些問題。這方面出現(xiàn)了許多成功的例子，比如用于視覺和語音識別的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network），以及能夠進行自我演繹的深度回歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）和會自主玩游戲的深度強化學(xué)習(xí)（Reinforcement Learning）模型。絕大多數(shù)的深度學(xué)習(xí)研究者都集中在這方面，而這些也恰恰能夠帶來最大的學(xué)術(shù)影響力。

然而，有關(guān)表達（Representation）的理論，除了從認(rèn)知心理學(xué)和神經(jīng)科學(xué)借用的一些啟發(fā)之外，幾乎是空白。這主要是因為是否能夠存在表達的理論實際上依賴于具體的問題，而面對具體問題的時候目前唯一能做的事情就是去類比現(xiàn)實存在的智能體（人類）是如何解決這一問題的，并設(shè)計模型來將它歸約為學(xué)習(xí)算法。我直覺上認(rèn)為，終極的表達理論就像是拉普拉斯幽靈（Laplace’s Demon）一樣，如果存在它便無所不知，也因此它的存在會產(chǎn)生矛盾，使得這一理論實際上只能無限逼近。

應(yīng)用（Applications）：深度學(xué)習(xí)的發(fā)展伴隨著它對其它領(lǐng)域的革命過程。在過去的數(shù)年中，深度學(xué)習(xí)的應(yīng)用能力幾乎是一種“敢想就能成”的狀態(tài)。這當(dāng)然得益于現(xiàn)今各行各業(yè)豐富的數(shù)據(jù)集以及計算機計算能力的提升，同時也要歸功于過去近三十年的領(lǐng)域經(jīng)驗。未來，深度學(xué)習(xí)將繼續(xù)解決各種識別（Recognition）相關(guān)的問題，比如視覺（圖像分類、分割，計算攝影學(xué)），語音（語音識別），自然語言（文本理解）；同時，在能夠演繹（Ability to Act）的方面如圖像文字描述、語音合成、自動翻譯、段落總結(jié)等也會逐漸出現(xiàn)突破，更可能協(xié)助尋找NP難（NP-Hard）問題在限定輸入集之后的可行算法。所有的這些都可能是非常好的研究點，能夠帶來經(jīng)濟和學(xué)術(shù)雙重的利益。

總結(jié)

以上是生活随笔為你收集整理的深度学习的四个部分的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。