解決梯度爆炸問題可以利用LSTM網絡

也可以用clip gradients 算法https://blog.csdn.net/jiachen0212/article/details/80285648

相比于傳統的 RNN 和 CNN，attention 機制具有如下優點：

• 一步到位的全局聯系捕捉，且關注了元素的局部聯系；attention 函數在計算 attention value 時，是進行序列的每一個元素和其它元素的對比，在這個過程中每一個元素間的距離都是一；而在時間序列 RNNs 中，元素的值是通過一步步遞推得到的長期依賴關系獲取的，而越長的序列捕捉長期依賴關系的能力就會越弱。

• 并行計算減少模型訓練時間；Attention 機制每一步的計算都不依賴于上一步的計算結果，因此可以并行處理。

• 模型復雜度小，參數少

但 attention 機制的缺點也比較明顯，因為是對序列的所有元素并行處理的，所以無法考慮輸入序列的元素順序，這在自然語言處理任務中比較糟糕。因為在自然語言中，語言的順序是包含了十分多的信息的，如果缺失了該部分的信息，則得到的結果往往會大大折扣。

參考資料：https://www.cnblogs.com/ydcode/p/11038064.html

利用LSTM進行空氣污染預測的小實驗

https://blog.csdn.net/u012735708/article/details/82769711?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1

容易上手

總結

以上是生活随笔為你收集整理的深度学习笔记之lSTM网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。