當前位置：首頁 >

rnn 梯度消失爆炸

發布時間：2024/10/8 40 豆豆

生活随笔收集整理的這篇文章主要介紹了 rnn 梯度消失爆炸小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

- 梯度消失和爆炸原理
- - 求導知識
  - RNN推導

梯度消失和爆炸原理

求導知識

$y = x^2$

$dy\mathrmozvdkddzhkzd {y}$ 導數

$dydx\Large \frac {\mathcalozvdkddzhkzd {y}} {\mathcalozvdkddzhkzd{x}}$ 偏導

RNN推導

正向傳播：

$a_t=w_xx_t + w_hh_{t-1} + b_t$

$ht=σ(at)h_t = \sigma(a_t)$

$y^=softmax(wyht+by)\hat{y} =softmax(w_yh_t+b_y)$

定義loss：
用logloss，TODO：多分類的logloss為啥是下面的格式？為啥不是 $loss=∑[?ylog(y^)?(1?y)log(1?y^)]loss = \sum[-ylog(\hat{y})-(1-y)log(1-\hat{y})]$

$loss=L=∑i=1n?yilog(yi^)loss = \mathcal{L} = \displaystyle\sum_{i=1}^{n}-y_ilog(\hat{y_i})$

$dLdwt=dLdatdatdwt=dLdat\Large \frac {\mathrmozvdkddzhkzd\mathcal{L}} {\mathrmozvdkddzhkzdw_t} = \frac {\mathrmozvdkddzhkzd\mathcal{L}} {\mathrmozvdkddzhkzda_t} \frac{\mathrmozvdkddzhkzda_t} {\mathrmozvdkddzhkzdw_t}= \frac {\mathrmozvdkddzhkzd\mathcal{L}} {\mathrmozvdkddzhkzda_t}$

參考1
參考2
參考3

總結

以上是生活随笔為你收集整理的rnn 梯度消失爆炸的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

梯度
RNN