回顧感知器學習算法，其核心思想是梯度下降法，即以訓練樣本被錯分的程度為目標函數，訓練中每次出現錯誤時便使權系數朝著目標函數相對于權系數負梯度方向更新，知道目標中沒有被錯分的樣本為止。

而多層感知器模型中，神經元傳遞函數是階躍函數，輸出端的無恥只能對最后一個神經元系數求梯度，無法對其他權系數求梯度，所以無法利用梯度下降的方法學習其他的權值。

Sigmoid函數

BP算法提出主要由于Sigmoid函數的出現，代替之前的閾值函數來構造神經元。

Sigmoid函數是單調遞增的非線性函數，無限次可微。當且僅當權值較大時可以逼近閾值函數，當權值較小時逼線性函數。

Sigmoid函數通常寫作如下形式：

取值范圍是（-1,1），代替神經元階躍函數可寫作：

由于采用Sigmoid函數作為神經元傳遞函數，不管網絡結構多么復雜，總可以通過計算梯度來考察各個參數。這就是多層感知器反向傳播算法的基本思想。

反向傳播（back-propagation，BP）

BP算法就是通過迭代優化網絡的權值使得輸出與輸入之間的實際映射關系與所期望的映射關系一致，采用梯度下降算法通過調整各層權值求目標函數最小化。網絡在某個或所有訓練樣本上的預測輸出和期望輸出的誤差平方和：

由輸出層誤差逐層反向計算各層各單元的誤差， 并基于梯度下降法修正各權值：

其中，δj(k)是第k層第j單元的局部梯度，或敏感度(sensitivity)?。

（轉載請注明作者和出處：http://blog.csdn.net/xiaowei_cqu?未經允許請勿用于商業用途）

總結

以上是生活随笔為你收集整理的反向传播神经网络 BPNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。