點(diǎn)擊上方“AI有道”，選擇“星標(biāo)”公眾號

重磅干貨，第一時(shí)間送達(dá)

深度學(xué)習(xí)中我們總結(jié)出 5 大技巧：

本節(jié)繼續(xù)從第三個(gè)開始講起。

3. Early stopping and Regularization

本節(jié)我們一起探討 Early stopping and Regularization，這兩個(gè)技巧不是深度學(xué)習(xí)特有的方法，是機(jī)器學(xué)習(xí)通用的方法。

Early stopping

在訓(xùn)練過程中，往往會得出訓(xùn)練的最后的結(jié)果還可能不如以前的，原因很有可能出現(xiàn)overfitting。?我們需要提前踩剎車，得出更好的效果。

Regularizaton

當(dāng)我們努力降低Loss函數(shù)的數(shù)值的時(shí)候，我們會發(fā)現(xiàn)，我們找到的參數(shù)集weights，不僅僅要讓Loss變小，而且weights 自身也需要接近于0，這樣我們的結(jié)果會更加理想。

L1 正則化：

新的Loss函數(shù)將會被最小化：

L2正則化：

新的Loss函數(shù)將會被最小化：

到這里，很多同學(xué)會疑問，為什么weights小了，結(jié)果就很更好，我在這里舉例說明：6歲的時(shí)候和14歲的時(shí)候，大腦的神經(jīng)元密度明顯降低，說明一些無效的神經(jīng)元是阻礙大腦進(jìn)步的。

4. Dropout

Dropout 在2012年imagenet 比賽中大放異彩，是當(dāng)時(shí)CNN模型奪冠的功勛環(huán)節(jié)之一。

那什么是Dropout 我們先直觀的理解：

練武功的時(shí)候，訓(xùn)練的時(shí)候腳上綁上重物

等到練成下山的時(shí)候：

我們從幾個(gè)方面來解釋Dropout

基礎(chǔ)定義

當(dāng)訓(xùn)練的時(shí)候，每一個(gè)神經(jīng)元都有p%的可能“靠邊站”

當(dāng)測試的時(shí)候，所有的神經(jīng)元齊心協(xié)力，共同努力：

Dropout是一種Ensemble學(xué)習(xí)

Ensemble 學(xué)習(xí)我們在機(jī)器學(xué)習(xí)專欄中一起討論過，鏈接是集成學(xué)習(xí)。每次訓(xùn)練的時(shí)候的網(wǎng)絡(luò)結(jié)構(gòu)都是不一樣的，是一個(gè)thinner network：

其實(shí)在訓(xùn)練的時(shí)候訓(xùn)練了很多thinner network：

測試的時(shí)候，取各個(gè)網(wǎng)絡(luò)的平均值

所以在深度學(xué)習(xí)中，我們的整個(gè)訓(xùn)練測試方法如下：

本專欄圖片、公式很多來自臺灣大學(xué)李弘毅老師、斯坦福大學(xué)cs229、cs231n 、斯坦福大學(xué)cs224n課程。在這里，感謝這些經(jīng)典課程，向他們致敬！

作者簡介：武強(qiáng) 蘭州大學(xué)博士，谷歌全球開發(fā)專家Google Develop Expert（GDE Machine Learing 方向）?

CSDN：https://me.csdn.net/dukuku5038?

知乎：https://www.zhihu.com/people/Dr.Wu/activities?

漫畫人工智能公眾號：DayuAI-Founder

系列筆記：?

系列筆記 | 深度學(xué)習(xí)連載（1）：神經(jīng)網(wǎng)絡(luò)

系列筆記 | 深度學(xué)習(xí)連載（2）：梯度下降

系列筆記 | 深度學(xué)習(xí)連載（3）：反向傳播

系列筆記 | 深度學(xué)習(xí)連載（4）：優(yōu)化技巧（上）

---

推薦閱讀

（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）

干貨 | 公眾號歷史文章精選

我的深度學(xué)習(xí)入門路線

我的機(jī)器學(xué)習(xí)入門路線圖

重磅！

林軒田機(jī)器學(xué)習(xí)完整視頻和博主筆記來啦！

掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得林軒田機(jī)器學(xué)習(xí)完整視頻 + 博主紅色石頭的精煉筆記（一定要備注：入群?+ 地點(diǎn) + 學(xué)校/公司。例如：入群+上海+復(fù)旦。?

長按掃碼，申請入群

（添加人數(shù)較多，請耐心等待）

?

最新 AI 干貨，我在看?

總結(jié)

以上是生活随笔為你收集整理的系列笔记 | 深度学习连载（5）：优化技巧（下）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。