keras从入门到放弃(九) 处理过拟合
生活随笔
收集整理的這篇文章主要介紹了
keras从入门到放弃(九) 处理过拟合
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
上篇通過實例了解了過擬合,那如何處理將是本文處理的問題
Dropout抑制過擬合
在每一次訓練中,隨機丟棄一部分隱藏單元,從而加強另一部分單元的學習
原理
-
取平均的作用:先回到標準的模型沒有dropout,我們會用相同的訓練數據去訓練5個不同的神經網絡,一般會得到5個不同的結果,此時我們可以采用“5個結果取均值”或者“對數取勝的投票策略”去決定最懂結果
-
減少神經元之間的復雜的共適應關系:因為dropout程序導致免掛鉤神經元不一定每次都在一個dropout網絡中出現。這樣全職的更新不在依賴于有固定關系的隱含節點的共同作用,阻止了某些特征僅僅在其他特征下才有效果的情況
怎么理解呢?
dropout類似于性別在生物進化中的角色
物種為了生存往往會傾向于適應這種環境,環境的突變則會導致物種難以做出及時反應,而性別的出現可以繁衍出適應新環境的變種,有效的阻止過擬合,即避免環境改變時物種可能面臨的滅絕
代碼實現
只要在添加dropout層即可
還是上文的數據
model = keras.Sequential() model.add(lay 與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的keras从入门到放弃(九) 处理过拟合的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: keras从入门到放弃(八)过拟合问题
- 下一篇: keras从入门到放弃(十)手写数字识别