【神經網絡基礎知識總結】：

• 定義：
  人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
  人工神經網絡：是一種應用類似于大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為“神經網絡”或類神經網絡。
  

• 分類：

• 前饋神經網絡：
  前饋神經網絡描述的是網絡的結構，是指每一層的神經元只接受前一層神經元的輸入，并且輸出到下一層。

• BP神經網絡
  BP神經網絡在百度百科上的解釋是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡。BP即Back Propagation,就是常用的反向傳播算法。

• MLP
  MLP是多層感知機也成為多層神經網絡，是一種前向結構，包括輸入層、隱藏層和輸出層。至少三層結構（即隱藏層只有一層網絡），如圖所示。
  

在機器學習和相關領域，人工神經網絡（人工神經網絡）的計算模型靈感來自動物的中樞神經系統（尤其是腦），并且被用于估計或可以依賴于大量的輸入和一般的未知近似函數。人工神經網絡通常呈現為相互連接的“神經元”，它可以從輸入的計算值，并且能夠機器學習以及模式識別由于它們的自適應性質的系統。
例如，用于手寫體識別的神經網絡是由一組可能被輸入圖像的像素激活的輸入神經元來限定。后進過加權，并通過一個函數（由網絡的設計者確定的）轉化，這些神經元的致動被上到其他神經元然后被傳遞。重復此過程，直到最后，一輸出神經元被激活。這決定了哪些字符被讀取。
像其他的從數據-神經網絡認識到的機器學習系統方法已被用來解決各種各樣的很難用普通的以規則為基礎的編程解決的任務，包括計算機視覺和語音識別。
也許，人工神經網絡的最大優勢是他們能夠被用作一個任意函數逼近的機制，那是從觀測到的數據“學習”。然而，使用起來也不是那么簡單的，一個比較好理解的基本理論是必不可少的。

• CNN
  CNN就是著名的卷積神經網絡，是一種前饋神經網絡。CNN不同于前面的網絡只有線性連接，CNN包括卷積（convolution）操作、匯合（pooling）操作和非線性激活函數映射（即線性連接）。經典的CNN網絡有Alex-Net、VGG-Nets、Network-In-Network等。

• RNN
  RNN是循環神經網絡。

• 激活函數
  激活函數又稱為非線性映射函數，講神經元的輸入映射到輸出。常用的激活函數包括：Sigmoid型函數、tanh(x)型函數、ReLU（修正線性單元）、Leaky ReLU、參數化ReLU、隨機化ReLU和ELU（指數化線性單元）。

• 目標函數
  目標函數是計算預測結果和真實結果的誤差。目標函數可以分為分類任務的目標函數和回歸任務的目標函數。
  分類任務的目標函數包括：交叉熵損失函數、合頁損失函數、坡道損失函數、大間隔交叉熵損失函數、中心損失函數。
  回歸任務的目標函數包括：L1損失函數、L2損失函數、Tukey’s biweight損失函數。

• 優化算法
  常用的網絡模型優化算法包括：隨機梯度下降法、基于動量的隨機梯度下降法、Nesterov型動量隨機下降法、Adagrad法、Adadelta法、RMSProp法、Adam法。

• 超參數
  神經網絡主要超參數包括：輸入圖像像素、學習率、正則化參數、神經網絡層數、批處理大小、卷積層參數（卷積核大小、卷積操作步長、卷積核個數）、匯合層參數（匯合核大小、匯合步長）、目標函數、優化算法、激活函數、學習周期等。

總結

以上是生活随笔為你收集整理的深度学习：神经网络基础知识总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。