??????? 為了保持文章系列的連貫性，參考這個文章：

??????? 此前的文章： DNN結構演進History—LSTM_NN? ，這個文章的分析更加全面清晰：Understanding LSTM NetWork 分析了各種LSTM網絡，LSTM小品文 ：谷歌語音轉錄背后的神經網絡。

摘要：

??????? LSTM使用一個控制門控制參數是否進行梯度計算，以此避免梯度消失或者爆炸。

LSTM的優勢與不足?

LSTM的不足

• LSTM的高效截斷版本并不能很輕松的解決“強延遲異或”類的問題。

• LSTM的每個存儲單元塊需要一個輸入門和一個輸出門，而這在其他的循環方法中并不是必需的。

• 常數誤差流通過存儲單元內部的“Constant Error Carrousels”，能夠跟傳統的前饋架構一樣，產生與整個輸入串相同的效果。

• LSTM與其他前饋方法一樣，在“regency”的概念上有缺陷。 如果需要精密時間步長計數，可能還需要額外的計數機制。

LSTM的優勢

• 內存單元中反向傳播的常數誤差，賦予該架構橋接長時滯的算法的能力。

• LSTM可近似于噪聲問題域、分布式表示和連續值。

• LSTM概述了要考慮的問題域。這一點很重要，因為一些任務對于已經建立的循環網絡來說很棘手。

• 在問題域上不需要微調網絡參數。

• 在每個權重和時間步長更新的復雜性方面，LSTM基本上等同于BPTT。

• LSTM在機器翻譯等領域取得了當前最先進的結果，顯示出強大的能力。

參考：LSTM、GRU與NTM這些最先進的循環神經網絡，是如何進行深度學習任務的

總結

以上是生活随笔為你收集整理的ANN：DNN结构演进History—LSTM网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。