【神经网络与深度学习】读书笔记
花了差不多兩個星期讀完，是一本非常好的書，除去專業知識外還增加了許多的額外知識，包括使用神經網絡的原因以及卷積網絡的由來，甚至加入了大量的生物方面的知識，使得整本書閱讀起來都非常有趣。由于對算法原理講解的也十分透徹，使得這本書也十分適合初學者使用。結合應用以及實際方法使得整體算法理解起來也非常的容易。通過閱讀這本書，我對卷積網絡的認識以及一些常用的算法都有了比較好的認識。唯一有一點小問題的就是對HMM（隱馬爾科夫）算法的介紹有點少，所以理解起來還是有些吃力的。在此也感謝本書作者撰寫了這么好的一本書。下面是一些在閱讀完成后自己回顧的筆記。
主要涉及到的算法將包含CNN（卷積神經網絡）、RNN（循環神經網絡）、MCTS、自編碼器、PGM、貝葉斯網絡（BN）、BP（誤差反相傳播）
1-卷積神經網絡CNN
這是根據自己理解畫的一個圖，首先進行名詞解釋的介紹。
卷積層-顧名思義，就是使用一系列的核對輸入層進行關注點對象的提取，可以看到在卷積層部分畫了很多張，而每一張就可以理解為對應著一種不同的核。這就表明，在卷積層可以對輸入圖像進行關鍵點特征，或是感興趣區域的提取。需要注意的是，卷積層對應的神經元一定與輸入層是相同的，即便是將池化層結果作為輸入再次進入卷積層時，卷積層的輸出也與輸入（池化層的輸出結果）神經元數量相同。在最開始的時候，與輸入層相連的第一個卷積層，輸入層的每一個像素對應卷積層的一個神經元。
池化層-池化層的意義在于能夠將卷積得出的關鍵對象進行縮小塊處理，從而使得關鍵點像素變得更加集中。具體方法是對一個局部區域內的像素進行均值，最高值等的處理，從而達到將關注區域減小的目標。池化層的輸入將大于輸出層。
特點：對Hidden層的每一張而言，它們的權重都是相同的，這樣能夠在一定程度上降低計算負擔。
? ?由于是提取關注物體的不同細節，因此，這種提取出的特征是具有縮放性和旋轉不變性的。
? ? ?使用的分類函數通常為sigmoid，輸出結果在（0,1）之間。
2-RNN循環神經網絡
Why：用于解決沒有知識記憶的問題，因此無法思考與上下文有關的內容
What：是一個具有循環記憶的網絡，可維持信息
How：一個狀態位，加入當前的輸入，能夠對下一個狀態是否繼續保存進行控制，可認為是一個有外界控制的自循環
Disadvantage：當距離過長時，是無法對狀態進行保存的
3-LSTM
Why：可視為RNN的改進版，用于解決RNN無法對長期狀態進行保存的問題
What：作為RNN的變種，可以通過加入門限或觀察窗口等，進一步對需要維持的信息進行控制
How：
? ? ??
還是根據自己的理解畫的，如果有不對的地方，也歡迎大家給我留言進行改正
4-稀疏編碼
采用獨立分布隨機高斯矩陣，降維提取特征，并對節點進行編碼
5-棧式自編碼器
前兩個圖是用畫圖純畫出來的，后來才發現原來Visio并沒有過期┑(￣Д ￣)┍，那就Visio了唄。大致原理就是這樣了。
6-BP（誤差反向傳播）
? ? ? ??
需要注意的是誤差將分攤給各層的所有單元，而不是某一個或幾個，進而對各層進行修復
7-RBM（限制玻爾茲曼機）
Why：基于能量學發現，所有的能量函數都能生成一個概率分布，進而求解目標函數；可用于描述變量高層的相互作用，可以使用概率分布函數或能量函數
What：使用生成方法，利用樣本，結合各種概率模型等，生成一種概率模型，以后的判定都采用這些生成的模型，對變量進行分類
How：結合物理學算法，能夠立足于系統整體，定義能量函數--->變量概率分布--->求解目標函數（最大似然）；層內無連接，層間全連接
8-DBN（Deep Belief Network深度信念網，下面會介紹另一個DBN，Dynamic Bayesian Network動態貝葉斯網絡）
? ? ? ??
Why：
What：結合物理學算法，能夠立足于系統整體，定義能量函數--->變量概率分布--->求解目標函數（最大似然）
How：使用多個RBM堆砌而成的；信號采用RBM進行傳播，反饋則使用BP等算法進行調整
9-MCTS
Why：
What：搜索博弈樹的替代，AlphaGo的初始啟蒙想法。
How：利用擲骰子的方法確定每一步下棋的位置，并根據本局的勝負情況對每個位置的得分進行調整。在完成多次嘗試后，即可開始實現有思想的下棋方式。
10-強化學習
馬爾科夫決策過程，通過回報函數進行訓練，通過不斷的訓練回饋最終學習到什么是好的
11-概率圖模型
有向無環圖，節點表示狀態，向量上數值表示概率
貝葉斯模型（條件概率）P(A|B)=P(B|A)P(A)/P(B)，主要應用有拼寫查錯等
12-HMM（隱馬爾科夫模型）
其中觀測事件并不與狀態一一對應，需要一個隨機過程感知狀態的存在及特性（個人理解：不同狀態對應的觀測事件也是一種隨機關系，類似條件概率），但感覺理解的并不深入，在以后的學習中會對其進行補充。
13-DBN（Dynamic Bayesian Network動態貝葉斯網絡）
Why：可用于彌補貝葉斯網絡只能反映靜態特征
14-無向圖概率
What：用于解釋空間相互關系和相互依賴性
How：馬爾科夫隨機場（MRF）可表示依賴關系，但不能表示推導關系
15-最后是對AlphaGo的系統介紹
? ? ? ?
策略網絡：通過訓練集的訓練，使得可以用于確定下一步落子在每個位置，每個位置對應的概率
估值網絡：可用于確定下一步落子位置導致的整盤棋的勝利
快速決策網，利用局部特征和線性模型訓練得到快速走棋策略
總結
以上是生活随笔為你收集整理的【神经网络与深度学习】读书笔记的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 12.2泛型
- 下一篇： 深度学习中张量flatten处理（fla