一、GRU算法

　　GRU（Gate Recurrent Unit，循環(huán)門單元）是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）的一種。和LSTM（Long-Short Term Memory）一樣，也是為了解決長期記憶和反向傳播中的梯度等問題而提出來的。

　　在LSTM中引入了三個門函數(shù)：輸入門、遺忘門和輸出門來控制輸入值、記憶值和輸出值。而在GRU模型中只有兩個門：分別是更新門和重置門。具體結(jié)構(gòu)如下圖所示：　　　　

　　圖中的z_t和r_t分別表示更新門和重置門。更新門用于控制前一時刻的狀態(tài)信息被帶入到當前狀態(tài)中的程度，更新門的值越大說明前一時刻的狀態(tài)信息帶入越多。重置門控制前一狀態(tài)有多少信息被寫入到當前的候選集??_t上，重置門越小，前一狀態(tài)的信息被寫入的越少。

　　GRU組合了遺忘門和輸入門到一個單獨的更新門當中，也合并了細胞狀態(tài)? C和隱藏狀態(tài)h?，并且還做了一些其他的改變，使得其模型比標準LSTM?模型更簡單，其數(shù)學表達式為：

　　其中，門控信號z_t的范圍為0~1。門控信號越接近1，代表”記憶“下來的數(shù)據(jù)越多；而越接近0則代表”遺忘“的越多。

二、總結(jié)

　　GRU輸入輸出的結(jié)構(gòu)與普通的RNN相似，其中的內(nèi)部思想與LSTM相似。

　　與LSTM相比，GRU內(nèi)部少了一個”門控“，參數(shù)比LSTM少，但是卻也能夠達到與LSTM相當?shù)墓δ堋？紤]到硬件的計算能力和時間成本，因而很多時候我們也就會選擇更加”實用“的GRU。

參考：

https://zhuanlan.zhihu.com/p/32481747

https://www.cnblogs.com/jiangxinyang/p/9376021.html

https://zhuanlan.zhihu.com/p/72500407

https://zhuanlan.zhihu.com/p/97027947

總結(jié)

以上是生活随笔為你收集整理的GRU算法原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。