以下為本人通過圖解深度學習里總結記錄的筆記，如有誤歡迎交流。

1.經(jīng)過了兩次起伏，第二次：線性不可分問題。
27。神經(jīng)網(wǎng)絡：使用圖的意義進行編碼這一思路，與神經(jīng)和網(wǎng)絡無關系，更應該叫做：分層表示學習，層級表示學習，深度可微模型，鏈式幾何變化。
2.BP：誤差反向傳播算法。

▲W：權重調(diào)整值
η：學習率

3.權重調(diào)整值的計算就是對誤差函數(shù)，激活函數(shù)以及連接權重分別進行求導的過程——chain rule
4.權重調(diào)整值趨近于0，所以無法調(diào)整連接權重。這就是誤差反向傳播算法中梯度消失導致無法調(diào)整連接權重問題。可通過調(diào)整η解決
5.激活函數(shù)：對輸入信號進行線性或非線性變化。
6.池化層：減小卷積層的尺寸，從44到22
7.CNN：調(diào)整參數(shù)時，重要的是先調(diào)整卷積層的卷積核個數(shù)，激活函數(shù)的種類以及輸入圖像的預處理。
8.多層神經(jīng)網(wǎng)絡：模式識別
9.相互連接型網(wǎng)絡：通過聯(lián)想記憶去除輸入數(shù)據(jù)中的噪聲。
10.對比散度算法：近似算法，能夠通過較少的迭代次數(shù)求出參數(shù)調(diào)整值。
11.深度信念網(wǎng)絡：首先訓練輸入層和隱藏層之間的參數(shù)，把訓練后得到的參數(shù)作為下一次的輸入，再調(diào)整該層與下一個隱藏層之間的參數(shù)。
————在最頂層級聯(lián)一個softmax層（他把一些輸入映射為0-1之間的實數(shù)，并且歸一化保證和為1，因此多分類的概率之和也剛好為1）
12.受限玻爾茲曼機可用于CNN的預訓練，提供堆疊式想法，兩層結構。
13.自編碼器：數(shù)據(jù)維度壓縮算法

將原始數(shù)據(jù)壓縮維度將中間的Code用于輸入神經(jīng)網(wǎng)絡，大大減小運算量，通過輸出維度展開可極大還原輸入圖像。
14.降噪自編碼器：樣本→加入噪聲→自編碼器→重構；計算樣本到重構的誤差，把不含噪聲的數(shù)據(jù)作為要重構的數(shù)據(jù)。
15.稀疏自編碼器：將稀疏正則化引入自編碼器，使大部分單元輸出為0，利用少數(shù)單元有效完成壓縮與重構。
16.少量數(shù)據(jù)可通過數(shù)據(jù)增強的方式強化神經(jīng)網(wǎng)絡。例如，平移、旋轉、顏色變換、幾何變換、隨機噪聲等。
17.預處理：均值減法，均一化，白化。以消除數(shù)據(jù)的相關性。
18.Dropout：提高網(wǎng)絡泛化能力，防止過擬合，殺死部分神經(jīng)元。相對DropConnect好一些。
19.R-CNN：區(qū)域卷積神經(jīng)網(wǎng)絡：將CNN當特征提取區(qū)使用。
20.機器學習：①輸入數(shù)據(jù)點②預期輸出的示例③衡量算法效果好的方法（屬于監(jiān)督學習）

21.深度學習的應用范圍：分類，回歸，序列預測
22.無監(jiān)督學習方法：降維，聚類
23.生成式深度學習：能夠對下一個標記的概率進行建模的任何網(wǎng)絡都稱為語言模型。語言模型能夠捕捉到語言的潛在空間，即語言的統(tǒng)計結構。
24.①貪婪采樣：非1即0.②隨機采樣
25.Deep Dream：藝術性圖像修改技術；反向CNN，梯度上升，圖像元素扭曲
26.將數(shù)據(jù)轉換為程序叫做學習。
27.神經(jīng)網(wǎng)絡：使用圖的意義進行編碼這一思路，與神經(jīng)和網(wǎng)絡無關系，更應該叫做：分層表示學習，層級表示學習，深度可微模型，鏈式幾何變化。
28。關鍵網(wǎng)絡架構：密集連接網(wǎng)絡，卷積網(wǎng)絡，循環(huán)網(wǎng)絡。

總結

以上是生活随笔為你收集整理的【个人笔记】图解深度学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。