CNN主要用于CV領(lǐng)域，RNN主要用于NLP領(lǐng)域，RNN的輸入數(shù)據(jù)是文本數(shù)據(jù)。

?假設(shè)? ?t1 時刻，有輸入x1進(jìn)入隱藏層，得到特征h1，h1會返回和 t2 時刻的輸入x2一起輸入隱藏層，得到特征h2，h2接著返回，依次類推，前一層的輸出結(jié)果保留下來，參與下一層的運(yùn)算。RNN網(wǎng)絡(luò)考慮時間序列的一些事情，不同時刻的輸出都有一定的聯(lián)系。?

?

在RNN中，信息只在一個方向上移動。當(dāng)它作出決定時，會考慮當(dāng)前的輸入以及它從之前收到的輸入中學(xué)到的內(nèi)容。

?ht 是前面所有的中間特征綜合起來得到的結(jié)果，我們需要的結(jié)果是最后輸出 ht，不是中間結(jié)果h1，h2.....等。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將權(quán)重矩陣分配給其輸入，然后生成輸出。RNN將權(quán)重應(yīng)用于當(dāng)前以及之前的輸入。此外，他們還通過梯度下降和反向傳播時間調(diào)整權(quán)重。

輸入隨機(jī)初始化為50維的向量，權(quán)重參數(shù)w也是隨機(jī)初始化的。?

總結(jié)

以上是生活随笔為你收集整理的算法基础——递归神经网络RNN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。