莫煩Python視頻筆記

莫煩Python視頻筆記

背景：打算學習CNN，上一周看了莫煩的Python課程，目前看到了P28 18.3 CNN卷積神經網絡

視頻鏈接：https://www.bilibili.com/video/av16001891/?p=29

莫煩源代碼：https://github.com/MorvanZhou/tutorials/tree/master/tensorflowTUT

筆記中只記錄了部分原理，代碼都放在文件夾中，可參考莫煩的源代碼。

SGD：Stochastic Gradient Descent隨機梯度下降法

其中SGD并不是最快的優化算法，我們可以用下圖來看

該圖為P18 優化器Optimizer加速神經網絡訓練(深度學習)中的圖。SGD路線最短，速度最慢。

接下來介紹幾種optimizer

Momentum醉漢歪歪扭扭的走，給個坡就能直接下去了

AdaGrad穿著不合腳的鞋子，有阻力，逼著人往前直著走

RMSProp

Adam這個是最快最好的optimizer

過擬合問題：

1、正則化：

多用于回歸中的懲罰機制

當我們的預測值中的權重W過于大，即預測值過大，那么我們就讓cost值也跟著變大，即懲罰的更重，而懲罰的機制就是將cost函數后面加上一個關于W的函數：|W|、W^2、W^3、W4等等，這樣就可以讓我們學出來的曲線不會過于扭曲。如上圖，在不添加黃色的加號之前，黃色的虛線能完美擬合所有的點，但是當加入更多的數據(在這里為加入5個加號)之后，黃色曲線的誤差要遠遠大于藍色直線的誤差，這就是所謂的過擬合。

2、DropOut：用于神經網絡

每次對神經網絡中的神經元隨機忽略一部分，然后進行訓練，做出預測

P26卷積神經網絡

一個卷積核對RGB圖片掃描后，只有一層，這里之所以有高度，是因為用了很多卷積核，一個卷積核是一層，原本是三層，因為RGB一個顏色一層。

一個卷積核代表的是一種特征，為獲得更多不同的特征集合，卷積層會有多個卷積核，生成不同的特征。

pooling：原始尺寸是4*4的，分成四個2*2的矩陣，maxpooling保存每個2*2矩陣的最大特征值，組成一個新的2*2矩陣，averagepooling保存的是平均值，常用max，因為max更好的保存了特征。

在tensorflow當中定義conv2d和pooling都是非常容易的，有專門的語句：tf.nn.conv2d 和 tf.nn.max_pool

莫煩Python視頻筆記相關教程

總結

以上是生活随笔為你收集整理的莫烦python视频顺序_莫烦Python视频笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。