莫煩Python視頻筆記

莫煩Python視頻筆記

背景：打算學(xué)習(xí)CNN，上一周看了莫煩的Python課程，目前看到了P28 18.3 CNN卷積神經(jīng)網(wǎng)絡(luò)

視頻鏈接：https://www.bilibili.com/video/av16001891/?p=29

莫煩源代碼：https://github.com/MorvanZhou/tutorials/tree/master/tensorflowTUT

筆記中只記錄了部分原理，代碼都放在文件夾中，可參考莫煩的源代碼。

SGD：Stochastic Gradient Descent隨機(jī)梯度下降法

其中SGD并不是最快的優(yōu)化算法，我們可以用下圖來(lái)看

該圖為P18 優(yōu)化器Optimizer加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練(深度學(xué)習(xí))中的圖。SGD路線最短，速度最慢。

接下來(lái)介紹幾種optimizer

Momentum醉漢歪歪扭扭的走，給個(gè)坡就能直接下去了

AdaGrad穿著不合腳的鞋子，有阻力，逼著人往前直著走

RMSProp

Adam這個(gè)是最快最好的optimizer

過(guò)擬合問(wèn)題：

1、正則化：

多用于回歸中的懲罰機(jī)制

當(dāng)我們的預(yù)測(cè)值中的權(quán)重W過(guò)于大，即預(yù)測(cè)值過(guò)大，那么我們就讓cost值也跟著變大，即懲罰的更重，而懲罰的機(jī)制就是將cost函數(shù)后面加上一個(gè)關(guān)于W的函數(shù)：|W|、W^2、W^3、W4等等，這樣就可以讓我們學(xué)出來(lái)的曲線不會(huì)過(guò)于扭曲。如上圖，在不添加黃色的加號(hào)之前，黃色的虛線能完美擬合所有的點(diǎn)，但是當(dāng)加入更多的數(shù)據(jù)(在這里為加入5個(gè)加號(hào))之后，黃色曲線的誤差要遠(yuǎn)遠(yuǎn)大于藍(lán)色直線的誤差，這就是所謂的過(guò)擬合。

2、DropOut：用于神經(jīng)網(wǎng)絡(luò)

每次對(duì)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元隨機(jī)忽略一部分，然后進(jìn)行訓(xùn)練，做出預(yù)測(cè)

P26卷積神經(jīng)網(wǎng)絡(luò)

一個(gè)卷積核對(duì)RGB圖片掃描后，只有一層，這里之所以有高度，是因?yàn)橛昧撕芏嗑矸e核，一個(gè)卷積核是一層，原本是三層，因?yàn)镽GB一個(gè)顏色一層。

一個(gè)卷積核代表的是一種特征，為獲得更多不同的特征集合，卷積層會(huì)有多個(gè)卷積核，生成不同的特征。

pooling：原始尺寸是4*4的，分成四個(gè)2*2的矩陣，maxpooling保存每個(gè)2*2矩陣的最大特征值，組成一個(gè)新的2*2矩陣，averagepooling保存的是平均值，常用max，因?yàn)閙ax更好的保存了特征。

在tensorflow當(dāng)中定義conv2d和pooling都是非常容易的，有專門(mén)的語(yǔ)句：tf.nn.conv2d 和 tf.nn.max_pool

莫煩Python視頻筆記相關(guān)教程

總結(jié)

以上是生活随笔為你收集整理的莫烦python视频顺序_莫烦Python视频笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。