點擊上方“AI有道”，選擇“星標”公眾號

重磅干貨，第一時間送達

深度學習中我們總結出 5 大技巧：

本節繼續從第三個開始講起。

3. Early stopping and Regularization

本節我們一起探討 Early stopping and Regularization，這兩個技巧不是深度學習特有的方法，是機器學習通用的方法。

Early stopping

在訓練過程中，往往會得出訓練的最后的結果還可能不如以前的，原因很有可能出現overfitting。?我們需要提前踩剎車，得出更好的效果。

Regularizaton

當我們努力降低Loss函數的數值的時候，我們會發現，我們找到的參數集weights，不僅僅要讓Loss變小，而且weights 自身也需要接近于0，這樣我們的結果會更加理想。

L1 正則化：

新的Loss函數將會被最小化：

L2正則化：

新的Loss函數將會被最小化：

到這里，很多同學會疑問，為什么weights小了，結果就很更好，我在這里舉例說明：6歲的時候和14歲的時候，大腦的神經元密度明顯降低，說明一些無效的神經元是阻礙大腦進步的。

4. Dropout

Dropout 在2012年imagenet 比賽中大放異彩，是當時CNN模型奪冠的功勛環節之一。

那什么是Dropout 我們先直觀的理解：

練武功的時候，訓練的時候腳上綁上重物

等到練成下山的時候：

我們從幾個方面來解釋Dropout

基礎定義

當訓練的時候，每一個神經元都有p%的可能“靠邊站”

當測試的時候，所有的神經元齊心協力，共同努力：

Dropout是一種Ensemble學習

Ensemble 學習我們在機器學習專欄中一起討論過，鏈接是集成學習。每次訓練的時候的網絡結構都是不一樣的，是一個thinner network：

其實在訓練的時候訓練了很多thinner network：

測試的時候，取各個網絡的平均值

所以在深度學習中，我們的整個訓練測試方法如下：

本專欄圖片、公式很多來自臺灣大學李弘毅老師、斯坦福大學cs229、cs231n 、斯坦福大學cs224n課程。在這里，感謝這些經典課程，向他們致敬！

作者簡介：武強 蘭州大學博士，谷歌全球開發專家Google Develop Expert（GDE Machine Learing 方向）?

CSDN：https://me.csdn.net/dukuku5038?

知乎：https://www.zhihu.com/people/Dr.Wu/activities?

漫畫人工智能公眾號：DayuAI-Founder

系列筆記：?

系列筆記 | 深度學習連載（1）：神經網絡

系列筆記 | 深度學習連載（2）：梯度下降

系列筆記 | 深度學習連載（3）：反向傳播

系列筆記 | 深度學習連載（4）：優化技巧（上）

---

推薦閱讀

（點擊標題可跳轉閱讀）

干貨 | 公眾號歷史文章精選

我的深度學習入門路線

我的機器學習入門路線圖

重磅！

林軒田機器學習完整視頻和博主筆記來啦！

掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得林軒田機器學習完整視頻 + 博主紅色石頭的精煉筆記（一定要備注：入群?+ 地點 + 學校/公司。例如：入群+上海+復旦。?

長按掃碼，申請入群

（添加人數較多，請耐心等待）

?

最新 AI 干貨，我在看?

總結

以上是生活随笔為你收集整理的系列笔记 | 深度学习连载（5）：优化技巧（下）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。