Berkeley深度學習追劇群
目前已有1000+小伙伴加入，公眾號后臺回復口令 深度學習追劇 入群。

課程主頁
https://course.fullstackdeeplearning.com

從簡入手：深度學習的bugs們通常都是隱身的，即使我們有火眼金睛，也很難找到它們。所以從簡化版著手，逐步搭建模型、增加數(shù)據(jù)量和延后調參都是不錯的選擇。視頻中有介紹采用哪些方法去簡化模型， 比如初始化采用神奇的學習率3e-4????。

怎樣調試呢？Josh建議首先讓代碼可以跑起來，然后保證在一個batch上可以overfit，并且最好能夠將自己的結果和一個已知的結果進行對比。視頻中列了5個最常見的bugs，去看看你遇到過幾次呀~也可以當做一個簡單的checklist。

如何評估模型的性能？評估模型是overfitting、underfitting的程度，再決定下一步優(yōu)先做什么。

Test error = irreducible error + bias + variance + distribution shift + val overfitting。?對比model在訓練、驗證、測試集上的表現(xiàn)，尋求bias-variance的平衡。

基礎性能評估后，我們需要思考可以從哪些方面改進我們的模型呢？比如：under-fitting，over-fitting都有什么對應策略呢？訓練、驗證、測試數(shù)據(jù)分布不一樣應該怎么辦呢？

調超參有哪些技巧呢？對比了手動調參、網(wǎng)格搜索、隨機搜索、coarse-to-fine、貝葉斯超參優(yōu)化五種方法。