點(diǎn)擊上方“AI有道”，選擇“星標(biāo)”公眾號

重磅干貨，第一時間送達(dá)

深度學(xué)習(xí)中我們總結(jié)出 5 大技巧：

1. Adaptive Learning Rate

我們先從Adaptive Learning Rate 談起，我Gradient Decent 中我們已經(jīng)討論了：

AdaGrad ：

緊著AdaGrad的步伐，我們進(jìn)一步看：

RMSProp

神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時候，Error Surface 很有可能非常復(fù)雜

RMSProp其實(shí)和AdaGrad 是一樣的思路，但是具體求分母的時候，它考慮了歷史gradient和新的g的權(quán)重a 。

Momentum

如何找到最優(yōu)的網(wǎng)絡(luò)參數(shù)呢？

optimize loss 的時候，很有可能就會遇到如下三大問題：

• 慢 very slow

• 局部最優(yōu) local minimal

• 鞍點(diǎn) saddle point

我們可以考慮在物理世界的場景進(jìn)行映射：小球從山上滑落，在局部最低的時候，他的動量讓它沖出局部。

我們復(fù)習(xí)一下梯度下降：Gradient的方向和Movement 的方向相反

當(dāng)我們考慮運(yùn)動的動量后：

• 運(yùn)動不在是基于梯度，而是基于以前的運(yùn)動

• Movement not just based on gradient, but previous movement.

其中 movement = laststep of movement - present gradient

Momentum 雖然不能保證走出“困境”，但是這是一個巨大的進(jìn)步

Adam 算法

Adam 算法是結(jié)合 RMSProp 和 Momentum， 來尋找最優(yōu)解。看起來比較復(fù)雜，

實(shí)際上懂 RMSProp 和 Momentum后，也就很快理解了。

2.?New?activation function

深度學(xué)習(xí)中我們總結(jié)出5大技巧：本節(jié)我們就從新的激活函數(shù)Relu談起。

新的激活函數(shù) new activation function

我們知道，激活函數(shù)在基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)中將線性變換，轉(zhuǎn)換為非線性變換。是神經(jīng)網(wǎng)絡(luò)能夠?qū)W到東西的重要一環(huán)。常用的激活函數(shù)有sigma， tanh 等。

從辛頓大神在2012年imagenet 中的CNN網(wǎng)絡(luò)中引入relu，這個神奇的看上去是線性的激活函數(shù)進(jìn)入我們的視野，以后扮演者非常重要的作用。

那為什么要引入relu，sigma、tanh 函數(shù)有什么缺點(diǎn)呢？

最主要的問題在于deep learning 無法真正deep：

如圖所示，訓(xùn)練上8層之后，正確率急速下降。 這是為什么呢？

主要原因在于梯度消失Vanishing Gradient Problem

如圖所示：傳統(tǒng)的激活函數(shù)，數(shù)據(jù)變化后，輸出的變化比輸入小，而且根據(jù)ChainRule, 層數(shù)越深，梯度值相乘的結(jié)果越小，小到接近于0的時候，就無法學(xué)習(xí)了。

所以，我們引入Relu，他的特點(diǎn)是：

1. 計(jì)算快速（導(dǎo)數(shù)是1）

2. 生物學(xué)原理（貌似是大腦回路，不太了解）

3. linear piece 可以模擬任何函數(shù)（在以后的深度學(xué)習(xí)理論會講）

4. 重點(diǎn)是：可以解決梯度消失的問題

Relu 可以簡化神經(jīng)網(wǎng)絡(luò)：

雖然Relu看起來很好（有嚴(yán)格數(shù)學(xué)證明，以后會深入講），但是在小于0的時候?qū)?shù)為0，對于參數(shù)學(xué)習(xí)是不利的：所以我們引入Relu的變種：leaky Relu， Parametirc Relu, 以后還會談到 Selu

本專欄圖片、公式很多來自臺灣大學(xué)李弘毅老師、斯坦福大學(xué)cs229、cs231n 、斯坦福大學(xué)cs224n課程。在這里，感謝這些經(jīng)典課程，向他們致敬！

作者簡介：武強(qiáng) 蘭州大學(xué)博士，谷歌全球開發(fā)專家Google Develop Expert（GDE Machine Learing 方向）?

CSDN：https://me.csdn.net/dukuku5038?

知乎：https://www.zhihu.com/people/Dr.Wu/activities?

漫畫人工智能公眾號：DayuAI-Founder

系列筆記：?

系列筆記 | 深度學(xué)習(xí)連載（1）：神經(jīng)網(wǎng)絡(luò)

系列筆記 | 深度學(xué)習(xí)連載（2）：梯度下降

系列筆記 | 深度學(xué)習(xí)連載（3）：反向傳播

---

推薦閱讀

（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）

干貨 | 公眾號歷史文章精選

我的深度學(xué)習(xí)入門路線

我的機(jī)器學(xué)習(xí)入門路線圖

?

?

?

最新 AI 干貨，我在看?

總結(jié)

以上是生活随笔為你收集整理的系列笔记 | 深度学习连载（4）：优化技巧（上）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。