2017-08-21

這次的課程介紹了RNN的相關知識；

首先是RNN的幾種模型：

分別又不同的應用場景，包括機器翻譯，視頻的分類。。。

RNN的解釋：

主要的特點就是用到了上一個隱含狀態的信息，所以RNN網絡具有記憶的特性；

一個例子：Vanilla網絡：

接下來是RNN的coputational graph：

特點就是W權重矩陣一直重復使用，然后就是這個圖是多對多的模型，最后給出輸出態之后還可以計算每個輸出狀態的損失loss；

接下來的部分介紹了RNN的一個例子，預測當前字符的下一個字符是什么；然后介紹了反向傳播算法再RNN的一個改動，并且介紹了RNN的應用例子，比如生成一段文字，為圖片生成一段文字描述，當然這個需要和CNN結合使用；

然后介紹了vanilla網絡再反向傳播計算梯度的時候遇到的問題，梯度爆炸和梯度消失，針對消失問題，引入了LSTM來解決：

?

轉載于:https://www.cnblogs.com/robin2ML/p/7410669.html

總結

以上是生活随笔為你收集整理的第十节课-RNN介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。