1. LSTM簡介

• x 輸入順序不同，得到的結(jié)果不同
• 核心：memory
  
  
  
  
  
  
  
  
  
  

2. LSTM training

3. LSTM和RNN的比較（為什么說LSTM可以解決RNN中的梯度消失問題？）

RNN在每個時間點(diǎn)計算產(chǎn)生的輸出會直接把memory覆蓋掉

而LSTM每個時間點(diǎn)產(chǎn)生的輸出會對原來的memory進(jìn)行累加

如果weight可以影響到memory中的值，則這個影響則一定會存在，因?yàn)檫@個影響是累加的（除非forget gate被使用），但如果在RNN中，每個時間點(diǎn)的memory會被清洗掉，因此會造成沒有影響的問題，即梯度消失

數(shù)學(xué)解釋：RNN梯度爆炸原因和LSTM解決梯度消失解釋

Gated Recurrent Unit(GRU)

GRU一共兩個Gate，比LSTM少一個，原理是將LSTM中的input gate和forget gate聯(lián)動起來，如果memory中有未被清洗掉的值，則不會input新的進(jìn)來，只有當(dāng)被清洗掉，input gate才會被打開

解決gradient vanish 問題的其他方法：

總結(jié)

以上是生活随笔為你收集整理的【学习笔记】LSTM 李弘毅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。