目錄

• 神經網絡與誤差反向傳播算法
• • 1 神經網絡
  • • 1.1 神經網絡
    • 1.2 神經網絡的作用
    • 1.3 神經元模型
    • 1.4 人工神經網絡
    • 1.5 前饋神經網絡
  • 2 Delta學習規則
  • 3 梯度
  • • 3.1 梯度下降
    • 3.2 梯度下降示意
    • 3.3 輸出層權重改變量
    • 3.4 隱藏層權重改變量
    • 3.5 隱含層權重改變量
    • 3.6 誤差傳播迭代公式
    • 3.7 隱藏層誤差反向傳播示意
  • 4 簡單的BP算例
  • 5 典型的機器學習步驟
  • • 5.1 典型的機器學習的思路都是這樣的
    • 5.2 特征對學習的影響
  • 6 深度學習的特征
  • • 6.1 “連接主義”的興衰史
    • 6.2 深度學習與神經網絡的區別

神經網絡與誤差反向傳播算法

1 神經網絡

1.1 神經網絡

大量（結構簡單的、功能接近的）神經元節點按一定體系架構連接成的網狀結構——就是大腦的結構

1.2 神經網絡的作用

分類、模式識別、連續值預測

1.3 神經元模型

每個神經元都是一個結構相似的獨立單元，它接受前一層傳來的數據，并將這些數據的加權和輸入非線性作用函數中，最后將非線性作用函數中，最后將非線性作用函數的輸出結果傳遞給后一層。

1.4 人工神經網絡

基礎神經網絡
神經元：輸入向量x；權重向量w；偏置標量b；激活函數sigmoid

淺網絡：3-5層；優化；梯度下降；BP后向傳播（鏈式規則）

1.5 前饋神經網絡

前饋神經網絡，是人工神經網絡的一種，各神經元從輸入層開始，接收前一級輸入，并輸出到下一級，直至輸出層。整個網絡中無反饋，可用一個有向無環圖表示。
前饋神經網絡采用一種單向多層結構。其中每一層包含若干個神經元，同一層的神經元之間沒有互相連接，層間信息的傳送只沿一個方向進行。
其中第一層稱為輸入層。最后一層為輸出層.中間為隱含層。隱含層可以是一層，也可以是多層。

2 Delta學習規則

Delta學習規則是一種有監督學習算法，該算法根據神經元的實際輸出與期望輸出差別來調整連接權，其數學表示如下：

3 梯度

3.1 梯度下降

這是一個表示參數w與目標函數J（w）的關系圖紅色的部分是表示J（w）有著比較高的取值，需要能夠讓J（w）的值盡量的低。也就是深藍色的部分。wl，w2表示w向量的兩個維度。

先確定一個初始點，將w按照梯度下降的方向進行調整，就會使得J（w）往更低的方向進行變化

3.2 梯度下降示意

想象一下，你如何能在被蒙住眼睛的情況下，從山上走下來?
先用你靈巧的腳，探一探腳下的山地，哪個方向坡度最陡?（計算梯度方向）
朝著這個方向邁一步;（沿梯度方向下降）
一大步，還是一小步?（學習速率）
持續這個過程直到平地（迭代）
可不能有懸崖哦………（目標函數處處可導）

3.3 輸出層權重改變量

3.4 隱藏層權重改變量

3.5 隱含層權重改變量

3.6 誤差傳播迭代公式

輸出層和隱藏層的誤差傳播公式可統一為∶權重增量=-1學習步長目標函數對權重的偏導數
目標函數對權重的偏導數=-1殘差當前層的輸入殘差= 當前層激勵函數的導數*上層反傳來的誤差
上層反傳來的誤差=上層殘差的加權和

3.7 隱藏層誤差反向傳播示意

4 簡單的BP算例

舉例：

5 典型的機器學習步驟

5.1 典型的機器學習的思路都是這樣的

從開始的通過傳感器來獲取數據。然后經過預處理、特征提取、特征選擇，再到推理、預測或者識別。最后一個部分，也就是機器學習的部分，絕大部分的工作是在這方面做的。

5.2 特征對學習的影響

一般而言，機器學習中特征越多，給出信息就越多，識別準確性會得到提升;
但特征多，計算復雜度增加，探索的空間就大，訓練數據在全體特征向量中就會顯得稀疏，影響相似性判斷;
更重要的是，如果有對分類無益的特征，反而可能干擾學習效果
結論∶特征不一定越多越好，獲得好的特征是識別成功的關鍵。需要有多少個特征，需要學習問題本身來決定。

6 深度學習的特征

深度學習，是一種基于無監督特征學習和特征層次結構的學習模型，其實是對神經網絡模型的拓展。

6.1 “連接主義”的興衰史

某種意義上說，AI的興衰史，其實就是“連接主義”（感知機->神經網絡->深度學習）的興衰史

6.2 深度學習與神經網絡的區別

總結

以上是生活随笔為你收集整理的神经网络与误差反向传播算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。