目錄

• 神經(jīng)網(wǎng)絡(luò)與誤差反向傳播算法
• • 1 神經(jīng)網(wǎng)絡(luò)
  • • 1.1 神經(jīng)網(wǎng)絡(luò)
    • 1.2 神經(jīng)網(wǎng)絡(luò)的作用
    • 1.3 神經(jīng)元模型
    • 1.4 人工神經(jīng)網(wǎng)絡(luò)
    • 1.5 前饋神經(jīng)網(wǎng)絡(luò)
  • 2 Delta學(xué)習(xí)規(guī)則
  • 3 梯度
  • • 3.1 梯度下降
    • 3.2 梯度下降示意
    • 3.3 輸出層權(quán)重改變量
    • 3.4 隱藏層權(quán)重改變量
    • 3.5 隱含層權(quán)重改變量
    • 3.6 誤差傳播迭代公式
    • 3.7 隱藏層誤差反向傳播示意
  • 4 簡(jiǎn)單的BP算例
  • 5 典型的機(jī)器學(xué)習(xí)步驟
  • • 5.1 典型的機(jī)器學(xué)習(xí)的思路都是這樣的
    • 5.2 特征對(duì)學(xué)習(xí)的影響
  • 6 深度學(xué)習(xí)的特征
  • • 6.1 “連接主義”的興衰史
    • 6.2 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別

神經(jīng)網(wǎng)絡(luò)與誤差反向傳播算法

1 神經(jīng)網(wǎng)絡(luò)

1.1 神經(jīng)網(wǎng)絡(luò)

大量（結(jié)構(gòu)簡(jiǎn)單的、功能接近的）神經(jīng)元節(jié)點(diǎn)按一定體系架構(gòu)連接成的網(wǎng)狀結(jié)構(gòu)——就是大腦的結(jié)構(gòu)

1.2 神經(jīng)網(wǎng)絡(luò)的作用

分類、模式識(shí)別、連續(xù)值預(yù)測(cè)

1.3 神經(jīng)元模型

每個(gè)神經(jīng)元都是一個(gè)結(jié)構(gòu)相似的獨(dú)立單元，它接受前一層傳來的數(shù)據(jù)，并將這些數(shù)據(jù)的加權(quán)和輸入非線性作用函數(shù)中，最后將非線性作用函數(shù)中，最后將非線性作用函數(shù)的輸出結(jié)果傳遞給后一層。

1.4 人工神經(jīng)網(wǎng)絡(luò)

基礎(chǔ)神經(jīng)網(wǎng)絡(luò)
神經(jīng)元：輸入向量x；權(quán)重向量w；偏置標(biāo)量b；激活函數(shù)sigmoid

淺網(wǎng)絡(luò)：3-5層；優(yōu)化；梯度下降；BP后向傳播（鏈?zhǔn)揭?guī)則）

1.5 前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種，各神經(jīng)元從輸入層開始，接收前一級(jí)輸入，并輸出到下一級(jí)，直至輸出層。整個(gè)網(wǎng)絡(luò)中無反饋，可用一個(gè)有向無環(huán)圖表示。
前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)。其中每一層包含若干個(gè)神經(jīng)元，同一層的神經(jīng)元之間沒有互相連接，層間信息的傳送只沿一個(gè)方向進(jìn)行。
其中第一層稱為輸入層。最后一層為輸出層.中間為隱含層。隱含層可以是一層，也可以是多層。

2 Delta學(xué)習(xí)規(guī)則

Delta學(xué)習(xí)規(guī)則是一種有監(jiān)督學(xué)習(xí)算法，該算法根據(jù)神經(jīng)元的實(shí)際輸出與期望輸出差別來調(diào)整連接權(quán)，其數(shù)學(xué)表示如下：

3 梯度

3.1 梯度下降

這是一個(gè)表示參數(shù)w與目標(biāo)函數(shù)J（w）的關(guān)系圖紅色的部分是表示J（w）有著比較高的取值，需要能夠讓J（w）的值盡量的低。也就是深藍(lán)色的部分。wl，w2表示w向量的兩個(gè)維度。

先確定一個(gè)初始點(diǎn)，將w按照梯度下降的方向進(jìn)行調(diào)整，就會(huì)使得J（w）往更低的方向進(jìn)行變化

3.2 梯度下降示意

想象一下，你如何能在被蒙住眼睛的情況下，從山上走下來?
先用你靈巧的腳，探一探腳下的山地，哪個(gè)方向坡度最陡?（計(jì)算梯度方向）
朝著這個(gè)方向邁一步;（沿梯度方向下降）
一大步，還是一小步?（學(xué)習(xí)速率）
持續(xù)這個(gè)過程直到平地（迭代）
可不能有懸崖哦………（目標(biāo)函數(shù)處處可導(dǎo)）

3.3 輸出層權(quán)重改變量

3.4 隱藏層權(quán)重改變量

3.5 隱含層權(quán)重改變量

3.6 誤差傳播迭代公式

輸出層和隱藏層的誤差傳播公式可統(tǒng)一為∶權(quán)重增量=-1學(xué)習(xí)步長(zhǎng)目標(biāo)函數(shù)對(duì)權(quán)重的偏導(dǎo)數(shù)
目標(biāo)函數(shù)對(duì)權(quán)重的偏導(dǎo)數(shù)=-1殘差當(dāng)前層的輸入殘差= 當(dāng)前層激勵(lì)函數(shù)的導(dǎo)數(shù)*上層反傳來的誤差
上層反傳來的誤差=上層殘差的加權(quán)和

3.7 隱藏層誤差反向傳播示意

4 簡(jiǎn)單的BP算例

舉例：

5 典型的機(jī)器學(xué)習(xí)步驟

5.1 典型的機(jī)器學(xué)習(xí)的思路都是這樣的

從開始的通過傳感器來獲取數(shù)據(jù)。然后經(jīng)過預(yù)處理、特征提取、特征選擇，再到推理、預(yù)測(cè)或者識(shí)別。最后一個(gè)部分，也就是機(jī)器學(xué)習(xí)的部分，絕大部分的工作是在這方面做的。

5.2 特征對(duì)學(xué)習(xí)的影響

一般而言，機(jī)器學(xué)習(xí)中特征越多，給出信息就越多，識(shí)別準(zhǔn)確性會(huì)得到提升;
但特征多，計(jì)算復(fù)雜度增加，探索的空間就大，訓(xùn)練數(shù)據(jù)在全體特征向量中就會(huì)顯得稀疏，影響相似性判斷;
更重要的是，如果有對(duì)分類無益的特征，反而可能干擾學(xué)習(xí)效果
結(jié)論∶特征不一定越多越好，獲得好的特征是識(shí)別成功的關(guān)鍵。需要有多少個(gè)特征，需要學(xué)習(xí)問題本身來決定。

6 深度學(xué)習(xí)的特征

深度學(xué)習(xí)，是一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)模型，其實(shí)是對(duì)神經(jīng)網(wǎng)絡(luò)模型的拓展。

6.1 “連接主義”的興衰史

某種意義上說，AI的興衰史，其實(shí)就是“連接主義”（感知機(jī)->神經(jīng)網(wǎng)絡(luò)->深度學(xué)習(xí)）的興衰史

6.2 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別

總結(jié)

以上是生活随笔為你收集整理的神经网络与误差反向传播算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。