在深度神經網絡（DNN）模型與前向傳播算法中，我們對DNN的模型和前向傳播算法做了總結，這里我們更進一步，對DNN的反向傳播算法（Back Propagation，BP）做一個總結。

1. DNN反向傳播算法要解決的問題

　　　　在了解DNN的反向傳播算法前，我們先要知道DNN反向傳播算法要解決的問題，也就是說，什么時候我們需要這個反向傳播算法？　

　　　　回到我們監督學習的一般問題，假設我們有m個訓練樣本：{(x1,y1),(x2,y2),...,(xm,ym)}{(x1,y1),(x2,y2),...,(xm,ym)},其中xx為輸入向量，特征維度為n_inn_in,而yy為輸出向量，特征維度為n_outn_out。我們需要利用這m個樣本訓練出一個模型，當有一個新的測試樣本(xtest,?)(xtest,?)來到時, 我們可以預測ytestytest向量的輸出。　

　　　　如果我們采用DNN的模型，即我們使輸入層有n_inn_in個神經元，而輸出層有n_outn_out個神經元。再加上一些含有若干神經元的隱藏層。此時我們需要找到合適的所有隱藏層和輸出層對應的線性系數矩陣WW,偏倚向量bb,讓所有的訓練樣本輸入計算出的輸出盡可能的等于或很接近樣本輸出。怎么找到合適的參數呢？

　　　　如果大家對傳統的機器學習的算法優化過程熟悉的話，這里就很容易聯想到我們可以用一個合適的損失函數來度量訓練樣本的輸出損失，接著對這個損失函數進行優化求最小化的極值，對應的一系列線性系數矩陣WW,偏倚向量bb即為我們的最終結果。在DNN中

總結

以上是生活随笔為你收集整理的深度神经网络（DNN）反向传播算法(BP)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。