??這是深度學習筆記第十一篇，完整的筆記目錄可以點擊這里查看。
??
??在進行高運算量的網絡優化之前，可以先考慮進行以下幾個檢驗：

1. Look for correct loss at chance performance

??當使用少量參數進行初始化時，請確保得到了預期的損失。最好先單獨檢查數據損失（將正則化強度設置為零）。例如，對于具有Softmax分類器的CIFAR-10，我們期望初始損失為2.302，因為我們期望每個類的擴散概率為0.1（因為有10個類），并且Softmax損失是正確類的負對數概率，所以：-ln(0.1)=2.302。如果檢驗時沒有獲得預期損失，那么初始化可能會出現問題。

2. Increasing the regularization strength should increase the loss

??經過上一步的初次檢驗后，增加正則化強度時，損失（loss）也應該隨之增加

3. Overfit a tiny subset of data

??最后也是最重要的一點，在對完整數據集進行訓練之前，試著先對數據的一小部分（例如20個樣本）進行訓練，并確保可以實現損失（loss）為0。對于這個實驗，最好將正則化設置為零，否則會影響你獲得0損失。如果沒有通過這個檢驗，則該網絡模型就不值得繼續使用完整的數據集進行訓練。
?
?
?
*本博客翻譯總結自CS231n課程作業網站，該網站需要翻墻才能訪問。

總結

以上是生活随笔為你收集整理的深度学习笔记（十一）—— 完整性检查[Sanity Checks]的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。