• 序列模型：以一個(gè)句子為例

1?循環(huán)網(wǎng)絡(luò)：通過帶有自反饋的神經(jīng)元，能夠處理任意長度的（存在時(shí)間關(guān)聯(lián)性）序列；

?? ??? ??? ??? ??? ?將過去的信息整合起來，輔助處理當(dāng)前信息。

• 循環(huán)網(wǎng)絡(luò)的結(jié)構(gòu)以及參數(shù)

• 循環(huán)網(wǎng)絡(luò)的前向傳播的計(jì)算?

?

• 簡化表示

?

• 穿越時(shí)間反向傳播（第一幅圖是前向傳播計(jì)算損失函數(shù)，第二幅圖是后向傳播調(diào)整參數(shù)）

?

?

2?類型：固定長度序列到可變長度序列（圖像到文字），可變長度序列到固定長度序列（文字到情感），可變長度序列到可變長度序列。

• 循環(huán)網(wǎng)絡(luò)舉例（語音識別系統(tǒng)和翻譯系統(tǒng)的基本組成，將語音或者文本識別出來）

?

?

3?變種：

? ? 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNNs）：結(jié)合過去和未來的信息進(jìn)行工作，主要用于手寫識別及語音識別領(lǐng)域。由兩個(gè)RNN組成，一個(gè)前向處理序列數(shù)據(jù)，一個(gè)后向處理序列數(shù)據(jù)。

? ? 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)：可變長度序列到可變長度序列，例如機(jī)器翻譯

4?深度循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)：

?? ??? ?RNN一般只是分為三個(gè)部分：a. 從輸入層到隱藏層；b.?從前一隱藏層到下一隱藏層；c.?從隱藏層到輸出層。

?? ?? ? 實(shí)際上還不是深度網(wǎng)絡(luò)。

5?門控循環(huán)神經(jīng)網(wǎng)絡(luò)

?? ?? ? 解決長期依賴（LTD）問題：關(guān)鍵信息在傳播過程中逐漸被稀釋。（梯度爆炸與梯度消失）

? ? ? ? 門控循環(huán)神經(jīng)網(wǎng)絡(luò)種類：長短期記憶網(wǎng)絡(luò)（LSTM），門控（gated）循環(huán)網(wǎng)絡(luò)

?? ?? ? 1?長短期記憶網(wǎng)絡(luò)（LSTM）：輸入為數(shù)據(jù)的當(dāng)前時(shí)間片段以及前一時(shí)間片段隱藏層的輸出

輸入門：選擇重要的

遺忘門：清除不重要的

輸出門：鎖住重要的

?? ?? ? 2?門控（gated）循環(huán)網(wǎng)絡(luò)

門控循環(huán)單元（GRUs）：使用更新門及重置門

?

?

總結(jié)

以上是生活随笔為你收集整理的什么是循环神经网络——学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。