神經(jīng)網(wǎng)絡(luò)原理解讀與整體架構(gòu)

課時(shí)16?神經(jīng)元個(gè)數(shù)對(duì)結(jié)果的影響

神經(jīng)元越多，擬合程度越好，過多會(huì)造成過擬合。

隱層中增加一個(gè)神經(jīng)元增加的是多個(gè)權(quán)重參數(shù)（數(shù)據(jù)量個(gè)權(quán)重參數(shù)）

課時(shí)17?正則化與激活函數(shù)

越小的λ值越符合訓(xùn)練集的結(jié)果，λ增大過擬合效果越來越小

激活函數(shù)，實(shí)現(xiàn)非線性變換，sigmoid函數(shù)會(huì)出現(xiàn)梯度消失的問題。目前用relu函數(shù)，

課時(shí)18?神經(jīng)網(wǎng)絡(luò)過擬合解決方法

1.?數(shù)據(jù)預(yù)處理：不同的預(yù)處理結(jié)果會(huì)使得模型的想過發(fā)生很大的差異，首先完成中心化，然后進(jìn)行維度的放縮。

2. 參數(shù)初始化：盡量應(yīng)該是權(quán)重參數(shù)的波動(dòng)較小一些

3.?Drop-out：舍棄全連接，實(shí)現(xiàn)模型的化簡(jiǎn)，但是效果會(huì)變差

課程鏈接：https://study.163.com/course/courseMain.htm?courseId=1003606092&share=1&shareId=1383716838

總結(jié)

以上是生活随笔為你收集整理的【唐宇迪】神经网络原理解读与整体架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。