DL之GRU：GRU算法相關論文、建立過程(基于TF)、相關思路配圖集合、TF代碼實現

?

?

目錄

GRU算法相關論文

GRU算法建立過程(基于TF)

GRU算法的TF代碼實現

---

?

?

?

GRU算法相關論文

?

?

? ? ? ? ?GRU是LSTM網絡的一種效果很好的變體，它較LSTM網絡的結構更加簡單，而且效果也很好，因此也是當前非常流形的一種網絡。GRU既然是LSTM的變體，因此也是可以解決RNN網絡中的長依賴問題。

GRU門控循環(huán)單元是新一代的循環(huán)神經網絡，與 LSTM 非常相似。與 LSTM 相比，GRU 去除掉了細胞狀態(tài)，使用隱藏狀態(tài)來進行信息的傳遞。它只包含兩個門：重置門、更新門。
(1)、GRU的兩個門控機制的特殊之處在于，它們能夠保存長期序列中的信息，且不會隨時間而清除或因為與預測不相關而移除。
(2)、GRU不會隨時間而清除以前的信息，它會保留相關的信息并傳遞到下一個單元，因此它利用全部信息而避免了梯度消失問題。

• 重置門：重置門用于決定遺忘先前信息的程度。重置門決定了如何將新的輸入信息與前面的記憶相結合，
  (1)、重置門其實強制隱藏狀態(tài)去遺忘一些歷史信息，并利用當前輸入的信息。這可以令隱藏狀態(tài)遺忘任何在未來發(fā)現與預測不相關的信息，同時也允許構建更加緊致的表征。
  (2)、本質上來說，重置門主要決定了到底有多少過去的信息需要遺忘。
• 更新門：更新門的作用類似于 LSTM 中的遺忘門+輸入門。它決定要忘記哪些信息以及哪些新信息需要被添加。更新門定義了前面記憶保存到當前時間步的量。
  (1)、更新門將控制前面隱藏狀態(tài)的信息，有多少會傳遞到當前隱藏狀態(tài)，這與 LSTM 網絡中的記憶單元非常相似，它可以幫助 RNN 記住長期信息。
  (2)、更新門幫助模型決定到底要將多少過去的信息傳遞到未來，或到底前一時間步和當前時間步的信息有多少是需要繼續(xù)傳遞的。這一點非常強大，因為模型能決定從過去復制所有的信息以減少梯度消失的風險。

?

GRU算法建立過程(基于TF)

更新……

?

?

GRU算法的TF代碼實現

更新……

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的DL之GRU：GRU算法相关论文、建立过程(基于TF)、相关思路配图集合、TF代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。