什么是正向傳播網(wǎng)絡(luò)？

前一層的輸出作為后一層的輸入的邏輯結(jié)構(gòu)，每一層神經(jīng)元僅與下一層的 神經(jīng)元全連接，通過(guò)增加神經(jīng)網(wǎng)絡(luò)的層數(shù)雖然可為其提供更大的靈活性， 讓網(wǎng)絡(luò)具有更強(qiáng)的表征能力，也就是說(shuō)，能解決的問(wèn)題更多，但隨之而來(lái) 的數(shù)量龐大的網(wǎng)絡(luò)參數(shù)的訓(xùn)練，一直是制約多層神經(jīng)網(wǎng)絡(luò)發(fā)展的一個(gè)重要瓶頸。

什么是反向傳播？

反向傳播（Backpropagation algorithm）全稱“誤差反向傳播”，是在 深度神經(jīng)網(wǎng)絡(luò)中，根據(jù)輸出層輸出值，來(lái)反向調(diào)整隱藏層權(quán)重的一種方法。

為什么需要反向傳播？

• 為什么不直接使用梯度下降而使用反向傳播方式更新權(quán)重呢？
• 梯度下降應(yīng)用于有明確求導(dǎo)函數(shù)的情況，或者可以求出誤差的情況（比如線性回歸），我們可以把它看做沒(méi)有隱藏層的網(wǎng)絡(luò)。
  但對(duì)于多個(gè)隱藏層的 神經(jīng)網(wǎng)絡(luò)，輸出層可以直接求出誤差來(lái)更新參數(shù)，但隱藏層的誤差是不存 在的，因此不能對(duì)它直接應(yīng)用梯度下降，而是先將誤差反向傳播至隱藏層， 然后再應(yīng)用梯度下降。

反向傳播簡(jiǎn)史

• 1974年，哈佛大學(xué)沃伯斯博士在他的博士論文中，首次提出了通過(guò)誤差的反向傳播來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，以解決神經(jīng)網(wǎng)絡(luò)數(shù)量龐大的參數(shù)訓(xùn)練問(wèn)題。但是，沃伯斯的工作并沒(méi)有得到足夠的重視，因?yàn)楫?dāng)時(shí)神經(jīng)網(wǎng)絡(luò)正陷入低潮，可謂“生不逢時(shí)”
• 1986年，由杰弗里·辛頓（Geoffrey Hinton）和大衛(wèi)·魯姆哈特（David Rumelhart）等人在著名學(xué)術(shù)期刊Nature（自然）上發(fā)表了論文“借助誤差反向傳播算法的學(xué)習(xí)表 征（Learning Representationsby Back-propagating errors）”，系統(tǒng)而簡(jiǎn)潔地闡述了反向傳播算法在神經(jīng)網(wǎng)絡(luò)模型上的應(yīng)用。反向傳播算法非常好使，它直接把糾 錯(cuò)的運(yùn)算量降低到只和神經(jīng)元數(shù)目本身成正比的程度。
• 后來(lái)，沃伯斯得到了IEEE（電氣電子工程師學(xué)會(huì)）神經(jīng)網(wǎng)絡(luò)分會(huì)的先驅(qū)獎(jiǎng)；Geoffrey Hinton與Yoshua Bengio、Yann LeCun（合稱“深度學(xué)習(xí)三巨頭”）共同獲得了 2018年的圖靈獎(jiǎng)。

圖解反向傳播

• 問(wèn)題：Tom在超市買了2個(gè)蘋果，每個(gè)10元，消費(fèi)稅10%，請(qǐng)計(jì)算應(yīng)該支付 的金額
  
• 問(wèn)題：Tom在超市買了2個(gè)蘋果，3個(gè)橙子，其中蘋果每個(gè)10元，橙子每個(gè) 15元，消費(fèi)稅10%，請(qǐng)計(jì)算應(yīng)該支付的金額
  
• 問(wèn)題：Tom在超市買了2個(gè)蘋果，每個(gè)10元，消費(fèi)稅10%，請(qǐng)計(jì)算蘋果價(jià)格上漲會(huì)在多大程度上影響支付金額（即求“支付金額關(guān)于蘋果的價(jià)格的導(dǎo)數(shù)”）。設(shè)蘋果的價(jià) 格為x，支付金額為L(zhǎng)，則相當(dāng)于L求x的偏微分。這個(gè)導(dǎo)數(shù)的值表示當(dāng)蘋果的價(jià)格稍微上漲 時(shí)，支付金額會(huì)增加多少。
  
  
  
  蘋果價(jià)格的導(dǎo)數(shù)為2.2，蘋果個(gè)數(shù)導(dǎo)數(shù)為11，消費(fèi)稅導(dǎo)數(shù)為20，可以解釋為：蘋果價(jià)格、 蘋果個(gè)數(shù)或消費(fèi)稅增加相同的值，分別對(duì)支付金額產(chǎn)生2.2倍、11倍、20倍的影響。
  

反向傳播計(jì)算

• 考慮函數(shù) y = f(x) , 輸出為E，反向傳播的計(jì)算順序是，將信號(hào)E乘以節(jié)點(diǎn)的
  局部導(dǎo)數(shù)（偏導(dǎo)數(shù)），傳遞給前面的節(jié)點(diǎn)，這樣可以高效地求出導(dǎo)數(shù)的值。
  
• 加法節(jié)點(diǎn)反向傳播計(jì)算
  
• 乘法節(jié)點(diǎn)反向傳播計(jì)算
  

總結(jié)

以上是生活随笔為你收集整理的深度学习-图解反向传播算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。