?

先看下面信號流圖，L=2和M0=M1=M2=M3=3的情況，上面是前向通過，下面部分是反向通過。

1.初始化。假設沒有先驗知識可用，可以以一個一致分布來隨機的挑選突觸權值和閾值，這個分布選擇為均值等于0的均勻分布，它的方差選擇應該使得神經元的誘導局部域的標準偏差位于sigmoid激活函數的線行部分與飽和部分過渡處。

? ? (1)訓練樣本的呈現。呈現訓練樣本的一個回合給網絡。對訓練集中以某種形式排序的每個樣本，一次進行下面的第3點和第4點中所描述的前向和反向計算。

? ? (2)前向計算。在該回合中設一個訓練樣本是(x(n),d(n))，輸入向量x(n)作用于感知節點的輸入層，期望響應向量d(n)指向計算節點的輸出層。不斷經由網絡一層一層第前進，可以計算網絡的誘導局部域和函數信號。在層L的神經元j的誘導局部域為：

這里η為學習率參數，α為動態常數。

迭代。通過呈現新的一回合樣本給網絡并根據第3和第4進行前向和反向迭代計算，知道滿足停止準則。

注意:訓練樣本的呈現順序從一個回合到另一個回合必須是隨機的。動量和學習率參數隨著訓練迭代次數的增加而調整（通常是減少的）。

?

? ? 3.學習率和動量問題。反向傳播算法（BP）提供使用最速下降方法在權空間計算得到的軌跡的一種近似。使用的學習率參數η越小，從一次迭代帶下一次迭代的網絡突觸權值的變化量就越小，軌跡在權值空間就越光滑。然而，這種改進是以減慢學習速度為代價的。另一方面，如果讓η的值太大以加快學習速度的話，結果有可能是網絡突觸權值不穩定。一個既要加快學習速度又要保持穩定的簡單方法是修改

這里α是動量常數，通常是正數。他控制圍繞Δwji(n)的反饋環路如下圖（z-1表示單位時間延遲操作符）

欲使時間序列收斂，動量常數必須限制在0<=|α|<1?范圍內。當α等于0時，反向傳播算法運行起來沒有動量。雖然在實際中動量常數α不大可能是負的，但是它還是可正可負。

在反向傳播（BP）算法中包含動量趨于在穩定的下降方向上加速下降。

在反向傳播算法中包含動量具有符號正負擺動方向的穩定效果。

動量向一定程度上可以防止學習過程停止在誤差曲面上的局部最小值。

? ? 在反向傳播算法的應用中可以選擇使所有突觸權值都是可調整的，或者在自適應過程中可能限制網絡中某些權值使其保持固定。對于后者，誤差信號是以通常的方式通過網絡反向傳播的；然而，固定的突觸權值是不改變的。這一點可以簡單通過使突觸權值的學習率參數等于0來做到。

4.停止準則。通常，不能證明反向傳播算法是收斂的，并且沒有明確定義的算法停止準則。相反，僅有一些合理的準則，它們每個都有自己的實際用處，這些準則可用于終止權值的調整。

當梯度向量的歐幾里得范數達到一個充分小的帝都閾值時，我們認為反向傳播算法已經收斂。

當每一回合的均方誤差變化的絕對速率足夠小時，我們認為反向傳播算法已經收斂。

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—反向传播算法(BP)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。