1. Elman神經(jīng)網(wǎng)絡概述

根據(jù)神經(jīng)網(wǎng)絡運行過程中的信息流向，可將神經(jīng)網(wǎng)絡可分為前饋式和反饋式兩種基本類型。前饋式網(wǎng)絡通過引人隱藏層以及非線性轉移函數(shù)可以實現(xiàn)復雜的非線性映射功能。但前饋式網(wǎng)絡的輸出僅由當前輸入和權矩陣決定，而與網(wǎng)絡先前的輸出結果無關。反饋型神經(jīng)網(wǎng)絡也稱遞歸網(wǎng)絡或回歸網(wǎng)絡。反饋神經(jīng)網(wǎng)絡的輸入包括有延遲的輸入或者輸出數(shù)據(jù)的反饋，由于存在有反饋的輸入，所以它是一種反饋動力學系統(tǒng)；這種系統(tǒng)的學習過程就是它的神經(jīng)元狀態(tài)的變化過程，這個過程最終會達到一個神經(jīng)元狀態(tài)不變的穩(wěn)定態(tài)，也標志著學習過程的結束。
反饋網(wǎng)絡的動態(tài)學習特征，主要由網(wǎng)絡的反饋形式?jīng)Q定。反饋網(wǎng)絡的反饋形式是比較多樣化的，有輸入延遲、單層輸出反慣、神經(jīng)元自反饋、兩層之間互相反饋等類型。常見的反饋型神經(jīng)網(wǎng)絡有Elman 神經(jīng)網(wǎng)絡、Hopfield 神經(jīng)網(wǎng)絡和與離散Hopfield 結構相似的Boltzmann 神經(jīng)網(wǎng)絡等。El man 神經(jīng)網(wǎng)絡是Elman 于1990 年提出的，該模型在前饋式網(wǎng)絡的隱含層中增加了一個承接層，作為一步延時的算子，以達到記憶的目的，從而使系統(tǒng)具有適應時變特性的能力，能直接動態(tài)反映動態(tài)過程系統(tǒng)的特性。

2.Elman神經(jīng)網(wǎng)絡結構

Elman 型神經(jīng)網(wǎng)絡一般分為四層：輸入層、隱含層（中間層〉、承接層和輸出層。如圖2-1所示，輸入層、隱含層、輸出層的連接類似于前饋式網(wǎng)絡，輸入層的單元僅起信號傳輸作用，輸出層單元起線性加權作用。隱含層單元的傳遞函數(shù)可采用線性或非線性函數(shù)，承接層又稱上下文層或狀態(tài)層，它用來記憶隱含層單元前一時刻的輸出值并返回給網(wǎng)絡的輸入， 可以認為是一個一步延時算子。

Elman 神經(jīng)網(wǎng)絡的特點是隱含層的輸出通過承接層的延遲與存儲，自聯(lián)到隱含層的輸入。這種自聯(lián)方式使其對歷史狀態(tài)的數(shù)據(jù)具有敏感性，內(nèi)部反饋網(wǎng)絡的加入增強了網(wǎng)絡本身處理動態(tài)信息的能力，從而達到動態(tài)建模的目的。此外， Elman 神經(jīng)網(wǎng)絡能夠以任意精度逼近任意非線性映射，可以不考慮外部噪聲對系統(tǒng)影響的具體形式，如果給出系統(tǒng)的輸入輸出數(shù)據(jù)對，就可以對系統(tǒng)進行建模。

?3.Elman神經(jīng)網(wǎng)絡學習過程

以上圖為例，Elman神經(jīng)網(wǎng)絡的非線性狀態(tài)空間表達式為：

式中，y為m維輸出結點向量；x為n維中間層結點單元向量；u為r維輸入向量；為n維反饋狀態(tài)向量，為中間層到輸出層連接全職；為輸入層到中間層連接權值；為承接層到中間層到連接權值；g(*)為輸出神經(jīng)元的傳遞函數(shù)，是中間層輸出的線性組合；f(*)為中間層神經(jīng)元的傳遞函數(shù)，常采用S函數(shù)。

Elman神經(jīng)網(wǎng)絡同樣也采用Bp神經(jīng)網(wǎng)絡算法相似的方法進行權值修正，學習指標函數(shù)采用誤差平方和函數(shù)。

式中，為目標輸入向量。

?

如有交流，可聯(lián)系博主QQ: 491052175

總結

以上是生活随笔為你收集整理的【智能算法第一期】Elman神经网络基本原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。