循環(huán)神經(jīng)網(wǎng)絡(luò)

基礎(chǔ)篇

??我們假設(shè)您有一個管家，他很擅長做蘋果派、漢堡以及炸雞這三樣食物。管家制作食物的種類取決于天氣，若是晴天，他會做蘋果派；若是雨天，他會做漢堡。這樣制作食物的規(guī)則很容易用神經(jīng)網(wǎng)絡(luò)來表示。 ??我們接下來用數(shù)學(xué)語言描述上述過程，利用一些向量表示食物，再用一些向量表示天氣。
$$\begin{gathered} 蘋果派=?\begin{array}{c}1\\ 0\\ 0\end{array}?漢堡=?\begin{array}{c}0\\ 1\\ 0\end{array}?炸雞=?\begin{array}{c}0\\ 0\\ 1\end{array}? \\ 晴天=\left[\begin{array}{c}1\\ 0\end{array}\right]雨天=\left[\begin{array}{c}0\\ 1\end{array}\right] \end{gathered}$$
??我們可以利用圖形描述這一過程

??這個神經(jīng)網(wǎng)絡(luò)其實是一個非常簡單的矩陣，我們可以構(gòu)建一個矩陣與天氣向量相乘從而得到廚師要做的食物名稱。不難發(fā)現(xiàn)天氣與食物之間滿足線性映射。具體映射過程如下：

??我們同樣可以利用神經(jīng)元之間的連接關(guān)系表示上述過程：

進(jìn)階篇

??假設(shè)現(xiàn)在管家做飯不依賴于天氣，而是遵循一個順序，比如第一天是蘋果派、第二天是漢堡、第三天是炸雞，接下來又是蘋果派、漢堡、炸雞……

??我們用循環(huán)神經(jīng)網(wǎng)絡(luò)表示上述過程：

??我們繼續(xù)沿用上文中食物的向量表示，但此處我們將用新的矩陣來表示神經(jīng)網(wǎng)絡(luò)：
$$?\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}?$$
??具體的計算過程如下：

??不難發(fā)現(xiàn)，此處的神經(jīng)網(wǎng)絡(luò)依然是一個簡單的線性映射，將蘋果派映射到漢堡，將漢堡映射到炸雞，將炸雞映射到蘋果派。我們接下來用神經(jīng)元描述上述過程，其中我們只繪制權(quán)重為1的邊，權(quán)重為0的邊將被省略：

終極篇

??我們現(xiàn)在來考慮一種更為復(fù)雜的情況，管家依然只做3種食物：蘋果派、漢堡、炸雞，但是當(dāng)天制作的食物與天氣有關(guān)，若今天是晴天，那么管家會外出享受好天氣，所以依然制作昨天的食物。若今天是雨天，管家將不會出門，所以按照順序會制作新的食物。我們用圖片表示如下：

??目前的神經(jīng)網(wǎng)絡(luò)工作方式如下：

??我們繼續(xù)沿用食物以及天氣的向量表示，現(xiàn)在我們的神經(jīng)網(wǎng)絡(luò)具有多層，所以需要通過多個矩陣進(jìn)行表示。我們先來觀察食物矩陣是如何工作的，不難發(fā)現(xiàn)上部分就是一個單位陣。我們這里以蘋果派為例進(jìn)行展示：

??我們接下來來看天氣矩陣是如何工作的：

??我們接下來將食物矩陣和天氣矩陣進(jìn)行相加：

??具體的相加以及合并的過程如下圖所示，例如我們昨天吃了蘋果派，并且今天下雨，那今天該吃什么呢：

??不難發(fā)現(xiàn)，在合并的過程中會保留矩陣相加結(jié)果中最大的元素，并將其置為1，而對于其它元素都會被置0。我們接下來將用神經(jīng)元描述上述過程，同樣，我們只保留邊權(quán)為1的邊而將邊權(quán)為0的邊進(jìn)行忽略：

??此處的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

訓(xùn)練方式

??隨機(jī)給矩陣中的每個元素賦予初始值，給定誤差函數(shù)，使用梯度下降訓(xùn)練模型，確定每個參數(shù)的具體數(shù)值：

應(yīng)用場合

1、股票預(yù)測
2、序列生成
3、文本生成
4、語音識別

總結(jié)

以上是生活随笔為你收集整理的人人都能看懂的循环神经网络RNN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。