【神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)總結(jié)】：

• 定義：
  人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)寫為ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。
  人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為“神經(jīng)網(wǎng)絡(luò)”或類神經(jīng)網(wǎng)絡(luò)。
  

• 分類：

• 前饋神經(jīng)網(wǎng)絡(luò)：
  前饋神經(jīng)網(wǎng)絡(luò)描述的是網(wǎng)絡(luò)的結(jié)構(gòu)，是指每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入，并且輸出到下一層。

• BP神經(jīng)網(wǎng)絡(luò)
  BP神經(jīng)網(wǎng)絡(luò)在百度百科上的解釋是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。BP即Back Propagation,就是常用的反向傳播算法。

• MLP
  MLP是多層感知機(jī)也成為多層神經(jīng)網(wǎng)絡(luò)，是一種前向結(jié)構(gòu)，包括輸入層、隱藏層和輸出層。至少三層結(jié)構(gòu)（即隱藏層只有一層網(wǎng)絡(luò)），如圖所示。
  

在機(jī)器學(xué)習(xí)和相關(guān)領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)）的計(jì)算模型靈感來自動(dòng)物的中樞神經(jīng)系統(tǒng)（尤其是腦），并且被用于估計(jì)或可以依賴于大量的輸入和一般的未知近似函數(shù)。人工神經(jīng)網(wǎng)絡(luò)通常呈現(xiàn)為相互連接的“神經(jīng)元”，它可以從輸入的計(jì)算值，并且能夠機(jī)器學(xué)習(xí)以及模式識(shí)別由于它們的自適應(yīng)性質(zhì)的系統(tǒng)。
例如，用于手寫體識(shí)別的神經(jīng)網(wǎng)絡(luò)是由一組可能被輸入圖像的像素激活的輸入神經(jīng)元來限定。后進(jìn)過加權(quán)，并通過一個(gè)函數(shù)（由網(wǎng)絡(luò)的設(shè)計(jì)者確定的）轉(zhuǎn)化，這些神經(jīng)元的致動(dòng)被上到其他神經(jīng)元然后被傳遞。重復(fù)此過程，直到最后，一輸出神經(jīng)元被激活。這決定了哪些字符被讀取。
像其他的從數(shù)據(jù)-神經(jīng)網(wǎng)絡(luò)認(rèn)識(shí)到的機(jī)器學(xué)習(xí)系統(tǒng)方法已被用來解決各種各樣的很難用普通的以規(guī)則為基礎(chǔ)的編程解決的任務(wù)，包括計(jì)算機(jī)視覺和語音識(shí)別。
也許，人工神經(jīng)網(wǎng)絡(luò)的最大優(yōu)勢(shì)是他們能夠被用作一個(gè)任意函數(shù)逼近的機(jī)制，那是從觀測(cè)到的數(shù)據(jù)“學(xué)習(xí)”。然而，使用起來也不是那么簡(jiǎn)單的，一個(gè)比較好理解的基本理論是必不可少的。

• CNN
  CNN就是著名的卷積神經(jīng)網(wǎng)絡(luò)，是一種前饋神經(jīng)網(wǎng)絡(luò)。CNN不同于前面的網(wǎng)絡(luò)只有線性連接，CNN包括卷積（convolution）操作、匯合（pooling）操作和非線性激活函數(shù)映射（即線性連接）。經(jīng)典的CNN網(wǎng)絡(luò)有Alex-Net、VGG-Nets、Network-In-Network等。

• RNN
  RNN是循環(huán)神經(jīng)網(wǎng)絡(luò)。

• 激活函數(shù)
  激活函數(shù)又稱為非線性映射函數(shù)，講神經(jīng)元的輸入映射到輸出。常用的激活函數(shù)包括：Sigmoid型函數(shù)、tanh(x)型函數(shù)、ReLU（修正線性單元）、Leaky ReLU、參數(shù)化ReLU、隨機(jī)化ReLU和ELU（指數(shù)化線性單元）。

• 目標(biāo)函數(shù)
  目標(biāo)函數(shù)是計(jì)算預(yù)測(cè)結(jié)果和真實(shí)結(jié)果的誤差。目標(biāo)函數(shù)可以分為分類任務(wù)的目標(biāo)函數(shù)和回歸任務(wù)的目標(biāo)函數(shù)。
  分類任務(wù)的目標(biāo)函數(shù)包括：交叉熵?fù)p失函數(shù)、合頁損失函數(shù)、坡道損失函數(shù)、大間隔交叉熵?fù)p失函數(shù)、中心損失函數(shù)。
  回歸任務(wù)的目標(biāo)函數(shù)包括：L1損失函數(shù)、L2損失函數(shù)、Tukey’s biweight損失函數(shù)。

• 優(yōu)化算法
  常用的網(wǎng)絡(luò)模型優(yōu)化算法包括：隨機(jī)梯度下降法、基于動(dòng)量的隨機(jī)梯度下降法、Nesterov型動(dòng)量隨機(jī)下降法、Adagrad法、Adadelta法、RMSProp法、Adam法。

• 超參數(shù)
  神經(jīng)網(wǎng)絡(luò)主要超參數(shù)包括：輸入圖像像素、學(xué)習(xí)率、正則化參數(shù)、神經(jīng)網(wǎng)絡(luò)層數(shù)、批處理大小、卷積層參數(shù)（卷積核大小、卷積操作步長(zhǎng)、卷積核個(gè)數(shù)）、匯合層參數(shù)（匯合核大小、匯合步長(zhǎng)）、目標(biāo)函數(shù)、優(yōu)化算法、激活函數(shù)、學(xué)習(xí)周期等。

總結(jié)

以上是生活随笔為你收集整理的深度学习：神经网络基础知识总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。