最近實(shí)驗(yàn)中需要用到LSTM，記錄下我對(duì)LSTM的理解。

什么是LSTM？

首先介紹一下標(biāo)準(zhǔn)的RNN，它擁有記憶能力，適合處理序列型的數(shù)據(jù)，比如語(yǔ)音識(shí)別，但它有有以下缺點(diǎn)：

• 只能記住非常短的序列
• 難以訓(xùn)練，收斂困難

RNN的結(jié)構(gòu)

LSTM全名“長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)”，正好解決了RNN的缺點(diǎn)。LSTM會(huì)選擇性忘記不重要的信息，因此它能記住更長(zhǎng)的序列，且它更容易訓(xùn)練

LSTM的結(jié)構(gòu)

LSTM的關(guān)鍵是單元（門）的狀態(tài)，即貫穿圖頂部的水平線。門由sigmoid層、tanh層和乘法運(yùn)算組成

LSTM原理

LSTM的第一步?jīng)Q定要從單元狀態(tài)丟棄什么信息，這個(gè)決定由“遺忘門”做出，輸出值介于0和1，0表示完全忘記，1表示完全記住

遺忘門

第二步?jīng)Q定要在單元狀態(tài)中存儲(chǔ)什么新信息。它有兩部分：首先，“輸入門”的sigmoid決定更新哪些值，接下來(lái)，tanh創(chuàng)建新的候選向量，在下一個(gè)步驟中，把兩者結(jié)合起來(lái)對(duì)狀態(tài)更新

輸入門

這一步對(duì)狀態(tài)進(jìn)行更新

最后需要計(jì)算輸出什么

LSTM的應(yīng)用

• one to many：輸入不是序列，輸出是序列，比如看圖寫詩(shī)
• many to one：輸入是序列，輸出不是序列，比如視頻分類、步態(tài)識(shí)別
• many to many：輸入是序列，輸出也是序列，比如語(yǔ)音識(shí)別、機(jī)器翻譯

references

Understanding LSTM Networks?colah.github.io「公開課干貨分享」LSTM長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與實(shí)現(xiàn)?www.bilibili.com

總結(jié)

以上是生活随笔為你收集整理的lstm不收敛_LSTM学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。