前言

平時很少寫總結(jié)性的文章，感覺還是需要階段性總結(jié)一些可以串在一起的知識點，所以這次寫了下。因為我寫的內(nèi)容主要在時序、時空預(yù)測這個方向，所以主要還是把rnn，lstm，gru，convlstm，convgru以及ST-LSTM

一、 RNN

最為原始的循環(huán)神經(jīng)網(wǎng)絡(luò)，本質(zhì)就是全連接網(wǎng)絡(luò)，只是為了考慮過去的信息，輸出不僅取決于當前輸入，還取決于之前的信息，也就是輸出由之前的信息(也就是狀態(tài)state)和此時的輸入決定。

1.1 結(jié)構(gòu)圖

1.2 公式

1.3 優(yōu)缺點

1.3.1 優(yōu)點

① RNN 很適合處理序列數(shù)據(jù)，因為考慮了之前的信息

② 可以和CNN一起使用得到更好的任務(wù)效果

1.3.2 缺點

① 梯度消失、梯度爆炸

② rnn較其他cnn和全連接要用更多的顯存空間，更難訓(xùn)練

③ 如果采用tanh、relu為激活函數(shù)，沒法處理太長的序列

二、LSTM

為了解決梯度消失和爆炸以及更好的預(yù)測和分類序列數(shù)據(jù)等問題，rnn逐漸轉(zhuǎn)變?yōu)閘stm

2.1 結(jié)構(gòu)圖

2.2 公式

2.3 擴展

實際應(yīng)用中一般不采用單層的lstm，而是多層，在很多時序數(shù)據(jù)中雙向的表現(xiàn)也很不錯

2.3.1 雙向lstm

2.3.2 深層雙向lstm

三、 GRU

因為LSTM的訓(xùn)練比較慢，而GRU在其上稍微修改，速度可以快很多，而精度基本不變，所以GRU也十分流行

3.1 結(jié)構(gòu)圖

3.2 公式

3.3 LSTM和GRU的結(jié)構(gòu)區(qū)別

可以觀看【Deep Learning】詳細解讀LSTM與GRU單元的各個公式和區(qū)別

四、 ConvLSTM和ConvGRU

為了構(gòu)建時空序列預(yù)測模型，同時掌握時間和空間信息，所以將LSTM中的全連接權(quán)重改為卷積。

4.1 convLSTM結(jié)構(gòu)圖

4.2 convLSTM公式（原paper中）

4.3 convGRU（原paper中）

4.4 討論一個小問題

shixingjian博士提出的ConvLSTM通過他的描述來說應(yīng)該就是其中的W也就是每個權(quán)重都從普通的全連接權(quán)重改為了卷積。所以應(yīng)該從左到右轉(zhuǎn)變，正常來說右處應(yīng)該是不存在i，f以及o三個門只由X和Ht-1決定，而沒有C。即不存在以下的結(jié)構(gòu)。

這里咱們再重新看下博士的緊接著nips2016年的文章中所提到的convGRU也是不存在C的，并且可以和gru公式一一對應(yīng)。

這里我不知道是博士當時就是這么實現(xiàn)的并且效果很好，還是說有無C對三個門的影響對最終的實驗結(jié)果沒有太大的影響，還是說確實是寫作失誤，這里我不太好給出結(jié)論。這里可以斷定的是軌跡GRU那篇文章中對于結(jié)構(gòu)完全是從GRU轉(zhuǎn)變?yōu)閏onvGRU的這里絕對沒問題。我也因此查了幾篇期刊和頂會。

摘自ECCV2018

摘自IEEE Trans

之后我又調(diào)查了一些文章，很巧妙，頂會基本上都是沒有c的形式，而期刊大多都有。這里我做了另外一個調(diào)查，github上的實現(xiàn)，大多數(shù)都是從LSTM直接轉(zhuǎn)變?yōu)榈腃onvlstm的寫法也就是不存在C影響三個門，因為我當時復(fù)現(xiàn)的時候也是先實現(xiàn)了LSTM，之后加以改為ConvLSTM所以說沒太注意，我這回自己也做了下這個實驗，沒有加上的結(jié)構(gòu)可以很好的作時空預(yù)測，反而加上c之后會出現(xiàn)梯度的問題，所以這里大家可以有一些自我的理解。

我個人還是推薦直接從LSTM轉(zhuǎn)變?yōu)閏onvLSTM的結(jié)構(gòu)，這個稍后如何編寫代碼我也會逐步寫文章講解。

五、 ST-LSTM

這里主要給出 ST-LSTM結(jié)構(gòu)及公式。

5.1 ST-LSTM結(jié)構(gòu)圖

5.2 ST-LSTM公式

5.3 stacking結(jié)構(gòu)

這個模型的復(fù)現(xiàn)和編寫我會在不久之后專門寫一篇文章來講，并且因為是這種直接stacking的結(jié)構(gòu)會有一些訓(xùn)練的trick，比如Scheduled Sampling等。

Reference

• https://towardsdatascience.com/understanding-rnn-and-lstm-f7cdf6dfc14e

• http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

• https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21

• https://medium.com/neuronio/an-introduction-to-convlstm-55c9025563a7

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：

總結(jié)

以上是生活随笔為你收集整理的【图文并茂】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM的总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。