?

? ? ? ? Bp算法實際是輸出的誤差函數(shù)對每一個參數(shù)求導，輸出層可以直接求出，非輸出層則有鏈式法則求導。這里以上圖5層神經(jīng)網(wǎng)絡為例進行說明。

一? ?符號說明：

? ? ? 1)這里使用激活函數(shù)為sigmoid函數(shù)：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?（1）

? ? ? ? ? ? 對sigmoid函數(shù)求導得：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? (2)

? ? ? ? 2)??：l表示l-1層傳到l層的權重，i表示l-1層所對應的神經(jīng)元，j表示l層的神經(jīng)元；：l表示l-1層傳到l層的偏置項；第l層尚未使用激活函數(shù)的第k個神經(jīng)元；第l層已使用激活函數(shù)的第k個神經(jīng)元；第l層神經(jīng)元的個數(shù)。以第l層傳到第l+1層為例：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(3)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (4)

? ? ? ? 3)?不妨設實際輸出為y1和y2，這里使用最小均方誤差表示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ?(5)

? ? ? ? ? ? 使用梯度下降法更新參數(shù)，對權值項，更新公式為

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ?(6)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 對偏置項，更新公式為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ?(7)

二? ?推導說明：

? ? 由梯度下降法的公式可以看出實際就是求出最小均方誤差對參數(shù)的偏導。這里以、、為例。

1) 對?，只跟第5層神經(jīng)網(wǎng)絡的第1個神經(jīng)元有關，既有：

? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (9)

? ? ? ?由鏈式求導法則得：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? (10)

?

2) 對?，跟第5層的所有神經(jīng)元有關，跟第4層第1個神經(jīng)元有關，既有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（11）

? ? ? ? ? ? ? ? 由鏈式求導法則得：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （12）

? ? ? ? ? ? ? ? ? ? ? ?對上式中E對的偏導這里單獨進行討論，? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? （13）

? ? ? ? ? ? ? ? ? ? ?又因為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （14）

? ? ? ? ? ? ? ? 故：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? （15）

?

?3) 對?，跟第3層的第1個神經(jīng)元，第4層所有神經(jīng)元有關，第5層第所有神經(jīng)元有關，既有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（16）

? ? ? ? ? ? ? ? ? ? ?由鏈式求導法則得：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（17）

? ? ? ? ? ? ? ? ?對上式中E對的偏導這里單獨進行討論，

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（18）

? ? ? ? ? ? ? ? ? ?又因為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （19）

? ? ? ? ? ? ? ? ?故：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? （20）

? ? ? ? ? ? 公式太長了，這里就推到由第2層到第3層的參數(shù)。

?4)開始總結規(guī)律

對輸出層（既第5層）不妨令：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ?（21）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?（22）

對第4層：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ?（23）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ?（24）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ?（25）

? ?對第3層第1個神經(jīng)元

? ? ? ? ? ? ? ? ??? （26）

? ? ?由上可以可能出

? ? ? ? ? ? ? ? ? ? ?對輸出層即第5層：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ???（27）

? ? ? ? ? ? ? ? ? ? ? ?對第4層：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ?（28）

? ? ? ? ? ? ? ? ? ? ?對第3層：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ?（29）?

? ? ? ? ? ? ? 同理可得對第2層? ? ?：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? （30）

綜上可得：

? ? ? ? ? 對輸出層有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ?（31）

? ? ? ? ?對非輸出層有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?（32）

? ? ? ??又由于：?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????? ? ? ?（33）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? （34）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ?（35）

? ? ? ? ? ? ? 所以：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ?（36）

? ? ? ? ? ? ? ? 所以權重更新公式為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? （37）

? ? ? ? ? ? ? ?同理可得偏置項的更新公式為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? （38）

6）推廣到一般化，如果誤差函數(shù)不是最小均方誤差，而是E，激活函數(shù)不是sigmoid，而是f(x)，此時：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? （39）? ? ?

? ? ? ? ? ? ? 有上面的推導我們易得，對輸出層：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?（40）

? ? ? ? ? ? ? ? ? ? 對非輸出層：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? （41）

? ? ? ? ? ? ? ? ? 此時權重更新公式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ?（42）

? ? ? ? ? ? ? ? ?偏置項的更新公式為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? （43）

總結

以上是生活随笔為你收集整理的BP算法，用梯度下降法更新权值W与偏置项b的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。