BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU
1:BPTT: 其實就是BP算法正常的鏈式推導展開，只是因為它涉及到了之前時刻的ht輸出，所以將時間信息給帶進去了；而這也是為什么說RNN不能很好的保存長期記憶的原因，因為偏導的連乘，長期的記憶被不斷的縮小，很容易出現梯度消失，也就是把長期記憶丟失了
?2:LSTM的細胞狀態和隱藏狀態
參考：(41 封私信 / 13 條消息) 如何理解 LSTM 中的 cell state 和 hidden state? - 知乎 (zhihu.com)
快速理解LSTM，從懵逼到裝逼 - 知乎 (zhihu.com)
我的理解是認為，細胞狀態是包含了全部的長短期信息的，而hidden state則是從細胞狀態里面抽取的與當前輸入最相關的信息（因為最相關不一定就是短期信息，所以hidden state也可以是長期信息）；綜上，細胞狀態是包含整體的長短期信息，而隱藏狀態則是包含的與當前輸入最相關的信息
?
3;GRU
首先，ht-1 融合xt之后，分別生成重置門rt和更新門zt，rt決定ht-1中有多少信息需要遺忘，也可以說是從ht-1中選擇與當前輸入更相關的信息來與輸入進行融合（所以此時融合的信息可以理解為和當前輸入聯系最緊密的信息，既有短期信息也有長期信息）；zt則是更新門，他決定上一步融合的信息有多少會加入到ht中去。而因為之前融合的信息是與當前信息最相關的，所以我們還應該加上與當前信息不那么相關的信息，來保證ht信息的完整性（這就是1-zt，再乘上ht-1的原因）。
?
?
總結
以上是生活随笔為你收集整理的BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： win10系统如何连接到无线显示器？
- 下一篇： 计算机网络基础之安全防范措施