每天給小編五分鐘，小編用自己的代碼，讓你輕松學(xué)習(xí)人工智能。本文將剖析循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的工作原理，精講循環(huán)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和實(shí)現(xiàn)方式。野蠻智能，小白也能看懂的人工智能。

循環(huán)神經(jīng)網(wǎng)絡(luò)從何而來(lái)？

我在我的這篇文章介紹了卷積神經(jīng)網(wǎng)絡(luò)(CNN)卷積神經(jīng)網(wǎng)絡(luò)(CNN)核心知識(shí)點(diǎn)匯總，三分鐘讓你從小白到精通，卷積神經(jīng)網(wǎng)絡(luò)主要用來(lái)處理計(jì)算機(jī)視覺(jué)問(wèn)題，在計(jì)算機(jī)“看”的過(guò)程中，主要是進(jìn)行特征的對(duì)比，通過(guò)特征的對(duì)比，可以分辨出來(lái)這個(gè)圖片(視頻)是哪一種，是不是我們想要的。這在很大程度可以幫助我們實(shí)現(xiàn)計(jì)算機(jī)的智能化。

但是單單靠計(jì)算機(jī)視覺(jué)能力并不能實(shí)現(xiàn)自主的智能，其他人類(lèi)能力的實(shí)現(xiàn)也是很重要的。例如，人類(lèi)可以根據(jù)一個(gè)故事的開(kāi)頭猜到一個(gè)故事的結(jié)尾；可以根據(jù)對(duì)方說(shuō)的話(huà)，揣測(cè)他背后的目的；這就是人類(lèi)的分析能力，根據(jù)前因后果、語(yǔ)言的規(guī)則、說(shuō)話(huà)的習(xí)慣，我們可以得到很多重要的信息。智者往往處理事情有理有據(jù)，層次分明，我們期待計(jì)算機(jī)也有這樣的能力。所以學(xué)者們?cè)O(shè)計(jì)了神奇的循環(huán)神經(jīng)網(wǎng)絡(luò)。

循環(huán)神經(jīng)網(wǎng)絡(luò)的最大創(chuàng)新點(diǎn)

簡(jiǎn)單來(lái)說(shuō)，序列指的就是前因后果。這種分辨因果的能力，對(duì)于計(jì)算機(jī)的智能化具有重要意義，所以序列問(wèn)題倍受計(jì)算機(jī)學(xué)界關(guān)注。為了解決序列問(wèn)題，循環(huán)神經(jīng)網(wǎng)絡(luò)在1982年被提出，由于當(dāng)時(shí)計(jì)算能力不足，無(wú)法實(shí)現(xiàn)。所以很長(zhǎng)一段時(shí)間，序列問(wèn)題的解決方案一直被傳統(tǒng)機(jī)器學(xué)習(xí)算法所壟斷，但是機(jī)器學(xué)習(xí)依賴(lài)于人工提取特征，這也使得序列問(wèn)題一直沒(méi)有被很好的解決。

RNN的第一大創(chuàng)新點(diǎn)是與深度學(xué)習(xí)結(jié)合，自動(dòng)提取特征。深度學(xué)習(xí)的核心本質(zhì)是自動(dòng)提取特征，這是深度學(xué)習(xí)對(duì)比于機(jī)器學(xué)習(xí)的優(yōu)勢(shì)所在，因此在深度學(xué)習(xí)理論成熟后，循環(huán)神經(jīng)網(wǎng)絡(luò)快速發(fā)展，獲得了成熟的應(yīng)用。例如，谷歌的翻譯系統(tǒng)拋棄掉原來(lái)的機(jī)器學(xué)習(xí)算法，采用RNN，獲得了遠(yuǎn)遠(yuǎn)好于之前的效果。

RNN的第二大創(chuàng)新點(diǎn)是，RNN的輸入不僅有數(shù)據(jù)，也有序列。一個(gè)RNN網(wǎng)絡(luò)運(yùn)行過(guò)程中，數(shù)據(jù)輸入進(jìn)來(lái)后，就會(huì)被網(wǎng)絡(luò)記住，然后把這個(gè)被記住的數(shù)據(jù)表達(dá)為一個(gè)向量，下一次再輸入數(shù)據(jù)，就繼續(xù)填到這個(gè)向量里，這樣反復(fù)循環(huán)，這個(gè)向量就記住了這些數(shù)據(jù)的先來(lái)后到，這個(gè)向量叫做隱狀態(tài)。所以說(shuō)，RNN的輸入包含兩部分，第一部分是數(shù)據(jù)，第二部分是上一時(shí)刻的隱狀態(tài)。

循環(huán)神經(jīng)網(wǎng)絡(luò)記憶的具體過(guò)程

上圖基本概括了循環(huán)神經(jīng)網(wǎng)絡(luò)的核心。假設(shè)我們輸入一句話(huà)：我愛(ài)北京，這句話(huà)就會(huì)被分為三個(gè)詞我，愛(ài)，北京，第一時(shí)刻，“我”也就是X1進(jìn)入系統(tǒng)，經(jīng)過(guò)分解產(chǎn)生一個(gè)隱狀態(tài)h1，接下來(lái)，這個(gè)隱狀態(tài)h2和第二個(gè)詞X2一起輸入網(wǎng)絡(luò)，再經(jīng)過(guò)運(yùn)算，又產(chǎn)生了第二個(gè)時(shí)刻的狀態(tài)h2，然后X3再和h2一起輸入，最終得到h3作為輸出。h3作為一個(gè)向量，表示了這句話(huà)的內(nèi)容。用一句總結(jié)，當(dāng)前時(shí)刻的數(shù)據(jù) + 上一時(shí)刻的狀態(tài) = 當(dāng)前時(shí)刻的狀態(tài)。

公式表示為：h(i+1) = f { [w*x + b] ，[W*h(i) + B] }，公式中“w”表示數(shù)據(jù)x的權(quán)重，b表示數(shù)據(jù)x的偏置值。“W”表示隱狀態(tài)的權(quán)重，B表示隱狀態(tài)的偏置值。這兩部分進(jìn)過(guò)函數(shù)f就得到了下一個(gè)隱狀態(tài)，經(jīng)過(guò)循環(huán)，最終得到最終的隱狀態(tài)。

循環(huán)神經(jīng)網(wǎng)絡(luò)的具體應(yīng)用

既然是解決了序列問(wèn)題，那么對(duì)順序有依賴(lài)的問(wèn)題都將迎刃而解。

機(jī)器翻譯系統(tǒng)：把一種語(yǔ)言經(jīng)過(guò)上述過(guò)程，變成一個(gè)隱狀態(tài)向量，然后再反向用另一種語(yǔ)言解釋出來(lái)，就得到了翻譯的結(jié)果。你一直以為高大上的翻譯系統(tǒng)其實(shí)就是這么簡(jiǎn)單。在小編的后續(xù)文章中，會(huì)專(zhuān)門(mén)寫(xiě)一篇文章，附加代碼，來(lái)手把手帶你做一個(gè)自己的翻譯系統(tǒng)。

語(yǔ)音識(shí)別，人說(shuō)的話(huà)，其實(shí)就是一組音頻，如果每個(gè)固定的頻率表示一定的含義，那么就可以得到語(yǔ)音的全部表達(dá)了。解決這一問(wèn)題的關(guān)鍵在于，這樣的特征是用語(yǔ)言描述不清楚的，所以可以交給深度學(xué)習(xí)自動(dòng)提取音頻特征，進(jìn)行學(xué)習(xí)，利用RNN的序列特性，就可以清晰表達(dá)所說(shuō)的內(nèi)容。

除了以上應(yīng)用，循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理等其他眾多領(lǐng)域，也有十分可觀的前景。所以下一篇文章，我會(huì)帶領(lǐng)大家用代碼敲出來(lái)一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)。讓理論扎根于實(shí)踐！

野蠻智能，小白也能看懂的人工智能。大家有什么見(jiàn)解歡迎評(píng)論！

總結(jié)

以上是生活随笔為你收集整理的rnn神经网络 层次_精讲深度学习RNN三大核心点，三分钟掌握循环神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。