谷歌新 AI 實(shí)驗(yàn)室主管 Hugo 深度學(xué)習(xí)教程：神經(jīng)網(wǎng)絡(luò)、CV、NLP 難點(diǎn)解析

[日期：2016-12-16]

來(lái)源：新智元? 作者：

[字體：大 中 小]

?11月22日，谷歌在蒙特利爾的現(xiàn)有辦公室開(kāi)設(shè)了一個(gè)全新的深度學(xué)習(xí)和人工智能研究小組。新團(tuán)隊(duì)將作為位于山景城的 Google Brain 團(tuán)隊(duì)的遠(yuǎn)程部門(mén)，由從 Twitter 深度學(xué)習(xí)部門(mén)出來(lái)的 Hugo Larochelle 領(lǐng)導(dǎo)。Hugo Larochelle 是 Yoshua Bengio的博士生，Geoffrey Hinton之前的博士后。本文是他主講的神經(jīng)網(wǎng)絡(luò)教程，內(nèi)容包括神經(jīng)網(wǎng)絡(luò)原理介紹、深度學(xué)習(xí)及應(yīng)用層面的計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等等，課程深入淺出，且全面系統(tǒng)，是不可多得的了解深度學(xué)習(xí)基礎(chǔ)知識(shí)的優(yōu)質(zhì)材料。

　　11月22日，Hugo 宣布加入谷歌蒙特利爾人工智能研究小組。

　　

　　【經(jīng)典】Hugo Larochelle 深度學(xué)習(xí)講課視頻（時(shí)長(zhǎng) 1 小時(shí)，建議在 WiFi 環(huán)境下觀看）

　　課程介紹

　　第 0 周 引言和數(shù)學(xué)復(fù)習(xí)

　　總體概覽：Hugo Larochelle 在Sherbrooke課程上使用的講義

　　線性代數(shù)：吳恩達(dá)課程回顧

　　統(tǒng)計(jì)學(xué)：William Faris 的課程筆記第三章

　　抽樣：Iain Murray的博士論文，第20-31頁(yè)

　　第 1 周 前饋神經(jīng)網(wǎng)絡(luò)

　　主要內(nèi)容：人造神經(jīng)元、激活函數(shù)、單個(gè)神經(jīng)元的能力、多層神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)的能力、生物學(xué)的啟示。

　　第 2 周 訓(xùn)練神經(jīng)網(wǎng)絡(luò)

　　主要內(nèi)容：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化、損失函數(shù)、輸出層梯度、隱藏層梯度、激活函數(shù)派生、參數(shù)梯度、反向傳播、正則化、參數(shù)初始化、模型選擇、優(yōu)化。

　　第3周 條件隨機(jī)場(chǎng)

　　主要內(nèi)容：Motivation、直鏈CRF、文本窗口、計(jì)算分割函數(shù)、計(jì)算邊際、執(zhí)行分類(lèi)、因子，有效統(tǒng)計(jì)和線性CRF，馬爾科夫網(wǎng)絡(luò)、因子圖、信念傳播（Belief Propagation）。

　　第4周 訓(xùn)練CRFs

　　主要內(nèi)容：損失函數(shù)、一元log-factor 梯度、成對(duì)log-factor梯度、區(qū)分與生成學(xué)習(xí)、最大熵馬爾科夫模型、隱藏馬爾科夫模型、常規(guī)條件隨機(jī)場(chǎng)、Pseudolikelihood

　　第5周 有限玻爾茲曼機(jī)器

　　主要內(nèi)容：有限玻爾茲曼機(jī)器的定義、推理、自由能量、對(duì)比發(fā)散、對(duì)比發(fā)散（參數(shù)升級(jí)）、堅(jiān)固的CD、例子、擴(kuò)展。

　　第6周 自動(dòng)編碼器

　　主要內(nèi)容：自動(dòng)編碼器的定義、損失函數(shù)、例子、線性自動(dòng)編碼器、未完成VS過(guò)完成隱藏層、去噪自動(dòng)編碼器、收縮自動(dòng)編碼器。

　　第7周 深度學(xué)習(xí)

　　主要內(nèi)容：動(dòng)機(jī)、訓(xùn)練的難度、非監(jiān)督預(yù)訓(xùn)練、例子、漏失信息、深度自動(dòng)編碼器、深度信念網(wǎng)絡(luò)、可變化的綁定、深度信念網(wǎng)絡(luò)（DBN ）預(yù)訓(xùn)練

　　第8周 稀疏編碼

　　主要內(nèi)容：定義、推理（ISTA 算法）、詞典更新——映射梯度下降、詞典更新——塊調(diào)整下降、詞學(xué)習(xí)算法、線上詞學(xué)習(xí)算法、ZCA 預(yù)處理、特征提取、與V1的關(guān)系

　　第9周 計(jì)算機(jī)視覺(jué)

　　主要內(nèi)容：動(dòng)機(jī)、局部連接性、參數(shù)分享、離散卷積、池化與次抽樣、卷積網(wǎng)絡(luò)、物體識(shí)別、樣本、數(shù)據(jù)集擴(kuò)展、卷積RBM

　　第10周 自然語(yǔ)言處理

　　主要內(nèi)容：動(dòng)機(jī)、預(yù)處理、單次編碼、詞表征、語(yǔ)言建模、神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型、分層的輸出層、詞標(biāo)簽、卷積網(wǎng)絡(luò)、多任務(wù)學(xué)習(xí)、遞歸網(wǎng)絡(luò)、合并表征、樹(shù)表征、遞歸網(wǎng)絡(luò)訓(xùn)練。

　　重點(diǎn)介紹，第7周：深度學(xué)習(xí)

　　

　　

　　

　　1. 深度學(xué)習(xí)

　　主題：深度學(xué)習(xí)；分布式表征

　　深度學(xué)習(xí)，就是使用多層表征研究學(xué)習(xí)模型

• 多層（前饋）神經(jīng)網(wǎng)絡(luò)

• 多層圖模型（深度信念網(wǎng)絡(luò)，深度玻爾茲曼機(jī)）

　　每一層對(duì)應(yīng)于一個(gè)分布式表征

• 每層中的單元并不是相互排斥的

• 可同時(shí)激活兩個(gè)單元

　　它們對(duì)被區(qū)分開(kāi)的（分串）輸入不會(huì)有反應(yīng)

• 在串中，輸入只屬于單一的串

　　

　　深度學(xué)習(xí)從視覺(jué)皮質(zhì)獲得啟發(fā)

　　

　　

　　

　　

　　

　　

　　

　　主題：理論論證

　　一個(gè)深度架構(gòu)可以代表特定的函數(shù)，但是在簡(jiǎn)潔性上卻有指數(shù)級(jí)的進(jìn)步。

　　一個(gè)例子：布爾函數(shù)

　　

　　

　　2. 訓(xùn)練的難度

　　

　　

　　為什么深度學(xué)習(xí)的訓(xùn)練很難？

　　

　　第一個(gè)假設(shè)：優(yōu)化更難（沒(méi)有達(dá)到擬合）

　　梯度消失的問(wèn)題

　　飽和單元會(huì)阻礙梯度傳播

　　這是遞歸神經(jīng)網(wǎng)絡(luò)中的一個(gè)著名難題

　　

　　第二個(gè)假設(shè)：過(guò)擬合

　　我們正在探索的，是一個(gè)帶有復(fù)雜函數(shù)的空間

　　深度網(wǎng)絡(luò)一般都有很多的參數(shù)

　　可能會(huì)存在于高變量/低偏見(jiàn)的情況下

　　

　　解決方案：第一種情況，使用更好的優(yōu)化；第二種情況，使用更好的正則化，非監(jiān)督學(xué)習(xí)、隨機(jī)訓(xùn)練。

　　3. 非監(jiān)督預(yù)訓(xùn)練

　　

　　

　　使用非監(jiān)督學(xué)習(xí)對(duì)隱藏層進(jìn)行初始化

　　

　　

　　非監(jiān)督式的預(yù)訓(xùn)練

　　

　　

　　第一層：找到隱藏層的特征，比起隨機(jī)輸入，訓(xùn)練后的輸入中這些特征更加常見(jiàn)。

　　第二層：找到隱藏層中各種特征的結(jié)合點(diǎn)，這比隨機(jī)隱藏層的特征更加常見(jiàn)。

　　第三層：找到結(jié)合中的結(jié)合……

　　

　　調(diào)整：在所有的層都經(jīng)過(guò)預(yù)訓(xùn)練后進(jìn)行，這是一個(gè)監(jiān)督式學(xué)習(xí)的過(guò)程。

　　

　　

　　

　　主題：偽代碼

　　

　　

　　4. 深度學(xué)習(xí)原理解析

　　包含內(nèi)容：預(yù)訓(xùn)練、調(diào)參、數(shù)據(jù)庫(kù)等

　　

　　

　　假設(shè)：使用隨機(jī)梯度下降來(lái)訓(xùn)練整個(gè)神經(jīng)網(wǎng)絡(luò)

　　

　　

　　

　　

　　

　　

　　

　　5. Dropout

　　

　　

　　通過(guò)隨機(jī)地一處隱藏單元，讓神經(jīng)網(wǎng)絡(luò)“殘廢”

　　Dropout 概率值設(shè)定在0.5

　　

　　

　　

　　

　　

　　

　　

　　主題：測(cè)試時(shí)間分類(lèi)

　　6. 自動(dòng)編碼

　　

　　

　　預(yù)訓(xùn)練可用于對(duì)一個(gè)深度自動(dòng)編碼器進(jìn)行初始化

　　

　　

　　7. 深度信念網(wǎng)絡(luò)

　　

　　

　　

　　

　　

　　

　　

　　

　　可變綁定

　　神經(jīng)網(wǎng)絡(luò)層數(shù)的增加可以呈現(xiàn)遞歸性重復(fù)

　　現(xiàn)在可以把這一過(guò)程看成

　　調(diào)優(yōu)由自上而下的算法完成

　　8. 可變綁定

　　

　　

　　

　　

　　

　　

　　

　　9. 深度信念網(wǎng)絡(luò)預(yù)訓(xùn)練

　　

　　

　　

　　

　　

　　

　　

總結(jié)

以上是生活随笔為你收集整理的谷歌新 AI 实验室主管 Hugo 深度学习教程：神经网络、CV、NLP 难点解析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。