神經(jīng)網(wǎng)絡(luò)是由大量處理單元（神經(jīng)元）互相連接而成的網(wǎng)絡(luò)，實際上ANN并不完全模擬了生物的神經(jīng)系統(tǒng)，而是一種抽象、簡化和模擬。神經(jīng)網(wǎng)絡(luò)的信息處理通過神經(jīng)元的相互作用來實現(xiàn)，知識與信息的存貯表現(xiàn)在網(wǎng)絡(luò)元件互連的分布式結(jié)構(gòu)與聯(lián)系，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識別各神經(jīng)元連接權(quán)系數(shù)的動態(tài)演化過程。實踐中常用的基本神經(jīng)網(wǎng)絡(luò)模型有：感知器神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)等。
1、感知器神經(jīng)網(wǎng)絡(luò)：
?是一個具有單層計算神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的傳遞函數(shù)是線性閾值單元。原始的感知器神經(jīng)網(wǎng)絡(luò)只有一個神經(jīng)元。主要用來模擬人腦的感知特征，由于采取閾值單元作為傳遞函數(shù)，所以只能輸出兩個值，適合簡單的模式分類問題。當(dāng)感知器用于兩類模式分類時，相當(dāng)于在高維樣本空間用一個超平面將兩類樣本分開，但是單層感知器只能處理線性問題，對于非線性或者線性不可分問題無能為力。假設(shè)p是輸入向量，w是權(quán)值矩陣向量，b為閾值向量，由于其傳遞函數(shù)是閾值單元，也就是所謂的硬限幅函數(shù)，那么感知器的決策邊界就是wp+b，當(dāng)wp+b>=0時，判定類別1，否則判定為類別2。
——感知器網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則：假設(shè)p為輸入向量，e為學(xué)習(xí)誤差，t為目標向量，則學(xué)習(xí)的基本原理描述如下：
權(quán)值增量——^W=(t-a)p'=ep'；閾值增量——^b=(t-a)(1)=e；權(quán)值更新——W(n+1)=W(n)+^W；閾值更新——b(n+1)=b(n)+^b；
由學(xué)習(xí)規(guī)則可以發(fā)現(xiàn)，學(xué)習(xí)規(guī)則嚴重的受到輸入向量p的大小變化影響。當(dāng)輸入向量的樣本數(shù)據(jù)包含奇異點時，往往會導(dǎo)致感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練時間加長，為了消除訓(xùn)練時間對于奇異樣本的敏感性，工程上常采用歸一化的感知器算法。即^W=(t-a)p'/||p||。
——感知器模型簡單易于實現(xiàn)，缺點是僅能解決線性可分問題。解決線性不可分問題途徑：一是采用多層感知器模型，二是選擇功能更加強大的神經(jīng)網(wǎng)絡(luò)模型。
2、線性神經(jīng)網(wǎng)絡(luò)：
——線性神經(jīng)網(wǎng)絡(luò)是比較簡單的一種神經(jīng)網(wǎng)絡(luò)，由一個或者多個線性神經(jīng)元構(gòu)成。采用線性函數(shù)作為傳遞函數(shù)，所以輸出可以是任意值。線性神經(jīng)網(wǎng)絡(luò)可以采用基于最小二乘LMS的Widrow－Hoff學(xué)習(xí)規(guī)則調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閾值，和感知器一樣，線性神經(jīng)網(wǎng)絡(luò)只能處理反應(yīng)輸入輸出樣本向量空間的線性映射關(guān)系，也只能處理線性可分問題。目前線性神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合、信號濾波、預(yù)測、控制等方面有廣泛的應(yīng)用。線性神經(jīng)網(wǎng)絡(luò)和感知器網(wǎng)絡(luò)不同，它的傳遞函數(shù)是線性函數(shù)，輸入和輸出之間是簡單的純比例關(guān)系，而且神經(jīng)元的個數(shù)可以是多個。只有一個神經(jīng)元的線性神經(jīng)網(wǎng)絡(luò)僅僅在傳遞函數(shù)上和感知器不同，前者是線性函數(shù)的傳遞函數(shù)，后者是閾值單元的傳遞函數(shù)，僅此而已。
——線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則：
W(k+1)=W(k)+yita(t(k)-p(k))p(k)'=W(k)+yita*e(k)*p(k)';
b(K+1)=b(k)+yita*e(k);yita是學(xué)習(xí)速率，yita比較大的時候，學(xué)習(xí)速率加快，但是有可能使得網(wǎng)絡(luò)的學(xué)習(xí)進程變得不穩(wěn)定，反之亦然。
——線性神經(jīng)網(wǎng)絡(luò)的局限性：線性神經(jīng)網(wǎng)絡(luò)只能反應(yīng)輸入和輸出樣本向量空間的線性映射關(guān)系。由于線性神經(jīng)網(wǎng)絡(luò)的誤差曲面是一個多維拋物面，所以在學(xué)習(xí)速率足夠小的情況下，對于基于最小二乘梯度下降原理進行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)總是可以找到一個最優(yōu)解。盡管如此，對線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練并不能一定總能達到零誤差。線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能要受到網(wǎng)絡(luò)規(guī)模、訓(xùn)練集大小的限制。若神經(jīng)網(wǎng)絡(luò)的自由度（所有權(quán)值和閾值的總個數(shù)）小于樣本空間中輸入－輸出向量的個數(shù)，而且各樣本向量線性無關(guān)，則網(wǎng)絡(luò)不可能達到零誤差，只能得到一個使得網(wǎng)絡(luò)的誤差最小的解。反之，如果網(wǎng)絡(luò)的自由度大于樣本集的個數(shù)，則會得到無窮多個可以使得網(wǎng)絡(luò)誤差為零的解。
3、BP神經(jīng)網(wǎng)絡(luò)：
——BP神經(jīng)網(wǎng)絡(luò)通常指的是基于誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡(luò)。是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元采用的傳遞函數(shù)一般是sigmoid型的可微函數(shù)，所以可以實現(xiàn)輸入輸出之間的任意非線性映射，這一特點使得BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近、模式識別、數(shù)據(jù)壓縮等領(lǐng)域有著更為廣泛的應(yīng)用，事實上，目前實際應(yīng)用的90％的神經(jīng)網(wǎng)絡(luò)系統(tǒng)都是基于BP算法的。
——與其他神經(jīng)元模型不同的是，BP神經(jīng)元模型的傳遞函數(shù)采取了可微單調(diào)遞增函數(shù)，如sigmoid的logsig、tansig函數(shù)和線性函數(shù)pureline。BP網(wǎng)絡(luò)的最后一層神經(jīng)元的特性決定了整個網(wǎng)絡(luò)的輸出特性。當(dāng)最后一層神經(jīng)元采用sigmoid類型的函數(shù)時，那么整個神經(jīng)元的輸出都會被限制在一個較小的范圍內(nèi)，如果最后一層的神經(jīng)元采用pureline型函數(shù)，則整個網(wǎng)絡(luò)的輸出可以是任意值。BP網(wǎng)絡(luò)采用的就是基于BP神經(jīng)元的多層前向結(jié)構(gòu)。BP網(wǎng)絡(luò)一般具有一個或者多個隱層，隱層神經(jīng)元一般采用sigmoid型的傳遞函數(shù)，而輸出層一般采用pureline型的傳遞函數(shù)。理論已經(jīng)證明，當(dāng)隱層神經(jīng)元數(shù)目足夠多時，可以以任意精度逼近任何一個具有有限個斷點的非線性函數(shù)。
——BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則：采用誤差反向傳播算法，實際上是Widrow－Hoff算法在多層前向神經(jīng)網(wǎng)絡(luò)中的推廣。和Widrow－Hoff算法類似，BP算法中，網(wǎng)絡(luò)的權(quán)值和閾值通常是沿著網(wǎng)絡(luò)誤差變化的負梯度方向進行調(diào)節(jié)，最終使得網(wǎng)絡(luò)的誤差達到極小值或者最小值，也就是說，在這一刻，誤差梯度是0。由于梯度下降算法的固有缺陷，標準的BP算法收斂速度慢，容易陷入局部最小值，所以后來又有許多的改進算法：動量因子學(xué)習(xí)算法、變速率學(xué)習(xí)算法、彈性學(xué)習(xí)算法、共扼梯度學(xué)習(xí)算法等等。對于不同的具體問題，選擇學(xué)習(xí)算法對網(wǎng)絡(luò)進行訓(xùn)練時，不僅要考慮算法本身大額性能，還要考慮問題的復(fù)雜度、樣本集的大小、網(wǎng)絡(luò)規(guī)模、網(wǎng)絡(luò)誤差目標以及要解決問題的類型。如果待解決的問題屬于模式分類，常用的彈性學(xué)習(xí)算法（收斂快，占用存貯空間小）、共扼梯度法（收斂快，性能穩(wěn)定，占用存貯空間一般，尤其適合較大規(guī)模的網(wǎng)絡(luò)）。
——BP網(wǎng)絡(luò)的局限性：BP網(wǎng)絡(luò)客服了感知器、線性神經(jīng)網(wǎng)絡(luò)的局限性，可以實現(xiàn)任意線性或者非線性的函數(shù)映射，然而在實際的設(shè)計過程中往往需要反復(fù)試湊隱層神經(jīng)元的個數(shù)，分析隱層神經(jīng)元的作用機理，不斷進行訓(xùn)練才可能得到比較滿意的結(jié)果，這一點現(xiàn)在是BP網(wǎng)絡(luò)研究的一個難點。
4、徑向基函數(shù)網(wǎng)絡(luò)：
——徑向基函數(shù)RBF網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)構(gòu)造的一類前向網(wǎng)絡(luò)，這類網(wǎng)絡(luò)的學(xué)習(xí)等價于在多維空間尋找訓(xùn)練數(shù)據(jù)的最佳擬合平面。徑向基函數(shù)網(wǎng)絡(luò)的每一個隱層都構(gòu)成擬合平面的一個基函數(shù)，網(wǎng)絡(luò)也因此得名。徑向基函數(shù)網(wǎng)絡(luò)是一個局部逼近網(wǎng)絡(luò)，也就是說，對于輸入空間的某一個局部區(qū)域只存在少數(shù)的神經(jīng)元用于決定網(wǎng)絡(luò)的輸出。前面講的的BP網(wǎng)絡(luò)是典型的全局逼近網(wǎng)絡(luò)，即對于每一個輸入輸出數(shù)據(jù)對，網(wǎng)絡(luò)所有的參數(shù)都要調(diào)整。由于兩者的構(gòu)造本質(zhì)不同，徑向基函數(shù)網(wǎng)絡(luò)與BP網(wǎng)絡(luò)相比規(guī)模一般比較大，但是徑向基網(wǎng)絡(luò)的學(xué)習(xí)速度比較快，網(wǎng)絡(luò)的函數(shù)逼近能力、模式識別能力以及分類能力都大大優(yōu)于BP網(wǎng)絡(luò)。徑向基函數(shù)網(wǎng)絡(luò)一般以廣義回歸網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)應(yīng)用比較多。
——徑向基函數(shù)網(wǎng)絡(luò)的神經(jīng)元模型：前面的3種神經(jīng)元模型中輸入向量的每一個分量分別和每一個神經(jīng)元以對應(yīng)的連接權(quán)乘積的累加作為傳遞函數(shù)的輸入，而在徑向基函數(shù)神經(jīng)元模型中，多了一個||dist||，表示輸入向量和權(quán)重向量的距離，模型采用高斯函數(shù)作為神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)，傳遞函數(shù)的輸入是輸入向量p和權(quán)重向量w的距離乘以閾值b，傳遞函數(shù)的一般表達式：f(x)=exp(-x*x).中心與寬度是徑向基函數(shù)神經(jīng)元的兩個重要參數(shù)。神經(jīng)元的權(quán)重向量w確定了徑向基函數(shù)的中心，當(dāng)輸入向量p和w重合時，徑向基神經(jīng)元的輸出達到最大值1，當(dāng)輸入向量和w的距離比較遠時，神經(jīng)元的輸出就比較小。神經(jīng)元的閾值b確定了徑向基函數(shù)的寬度，b越大，輸入向量在遠距w時的函數(shù)衰減幅度就越大。
——徑向基函數(shù)網(wǎng)絡(luò)結(jié)構(gòu)：典型的徑向基函數(shù)網(wǎng)絡(luò)包括兩層，即隱層和輸出層。需要設(shè)計的是隱層神經(jīng)元的個數(shù)以及輸出神經(jīng)元的個數(shù)。假如輸入是R維向量，有S1個隱層神經(jīng)元，有S2個輸出單元，則徑向基層的網(wǎng)絡(luò)權(quán)重向量矩陣為S1×R，p為R×1維向量，徑向基層閾值b為S1×1維向量，輸入向量和徑向基層的權(quán)重向量的距離||dist||為S1×1，經(jīng)過傳遞函數(shù)處理后為S1×1維的輸出向量，由于有S2個輸出單元，所以輸出層的神經(jīng)元個數(shù)是S2個，權(quán)重向量矩陣維S2×S1維，輸出層的閾值是S2×1維向量，輸出層一般采用線性函數(shù)作為傳遞函數(shù)，以便輸出可以為任意值。
——廣義回歸網(wǎng)絡(luò)GRNN結(jié)構(gòu)：與徑向基函數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)類似，該網(wǎng)絡(luò)的顯著特點就是網(wǎng)絡(luò)的隱層和輸出層的神經(jīng)元個數(shù)都和輸入樣本向量的個數(shù)相同，其輸出層是特殊的線性層，即隱層的輸出向量和輸出權(quán)值向量進行規(guī)則化內(nèi)積，也就是說，對于內(nèi)積所得的向量中的每一個元素分別除以隱層輸出向量中的各個元素的總和，從這一點來說，GRNN實際上就是一種規(guī)則化的徑向基函數(shù)網(wǎng)絡(luò)，常用于函數(shù)逼近問題。當(dāng)隱層神經(jīng)元足夠多的時候，該網(wǎng)絡(luò)能夠以任意精度逼近一個平滑函數(shù)，缺點是當(dāng)輸入樣本很多的時候，網(wǎng)絡(luò)十分龐大，計算復(fù)雜，不適合用于訓(xùn)練樣本過多的情況。
——概率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：是徑向基神經(jīng)網(wǎng)絡(luò)的另外一種重要變形。該網(wǎng)絡(luò)的隱層神經(jīng)元的個數(shù)與輸入樣本向量的個數(shù)相同，輸出層神經(jīng)元的個數(shù)等于訓(xùn)練樣本數(shù)據(jù)的種類個數(shù)。該網(wǎng)絡(luò)的輸出層屬于競爭層，輸出層的每一個神經(jīng)元對應(yīng)一個數(shù)據(jù)類別，輸出層的傳遞函數(shù)的功能就是找出輸入向量中各個元素的最大值，并且使得與最大值對應(yīng)的類別的神經(jīng)元的輸出為1，其他的輸出為0。這種網(wǎng)絡(luò)的分類效果能夠達到最大的正確概率。概率神經(jīng)網(wǎng)絡(luò)經(jīng)常用來解決分類問題。當(dāng)樣本數(shù)據(jù)足夠多的時候，概率神經(jīng)網(wǎng)絡(luò)收斂于一個貝葉斯分類器，而且推廣性能良好。缺點就是當(dāng)輸入樣本龐大的時候，網(wǎng)絡(luò)復(fù)雜，計算速度比較慢。
5、自組織網(wǎng)絡(luò)：
——在生物神經(jīng)細胞中存在一種特征敏感細胞，這種細胞只對外界信號刺激的某一特征敏感，并且這種特征是通過自學(xué)習(xí)形成的。在人腦的腦皮層中，對于外界信號刺激的感知和處理是分區(qū)進行的，有學(xué)者認為，腦皮層通過鄰近神經(jīng)細胞的相互競爭學(xué)習(xí)，自適應(yīng)的發(fā)展稱為對不同性質(zhì)的信號敏感的區(qū)域。根據(jù)這一特征現(xiàn)象，芬蘭學(xué)者Kohonen提出了自組織特征映射神經(jīng)網(wǎng)絡(luò)模型。他認為一個神經(jīng)網(wǎng)絡(luò)在接受外界輸入模式時，會自適應(yīng)的對輸入信號的特征進行學(xué)習(xí)，進而自組織成不同的區(qū)域，并且在各個區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。在輸出空間中，這些神經(jīng)元將形成一張映射圖，映射圖中功能相同的神經(jīng)元靠的比較近，功能不同的神經(jīng)元分的比較開，自組織特征映射網(wǎng)絡(luò)也是因此得名。
——自組織映射過程是通過競爭學(xué)習(xí)完成的。所謂競爭學(xué)習(xí)是指同一層神經(jīng)元之間相互競爭，競爭勝利的神經(jīng)元修改與其連接的連接權(quán)值的過程。競爭學(xué)習(xí)是一種無監(jiān)督學(xué)習(xí)方法，在學(xué)習(xí)過程中，只需要向網(wǎng)絡(luò)提供一些學(xué)習(xí)樣本，而無需提供理想的目標輸出，網(wǎng)絡(luò)根據(jù)輸入樣本的特性進行自組織映射，從而對樣本進行自動排序和分類。
——競爭學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)：假設(shè)網(wǎng)絡(luò)輸入為R維，輸出為S個，典型的競爭學(xué)習(xí)網(wǎng)絡(luò)由隱層和競爭層組成，與徑向基函數(shù)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型相比，不同的就是競爭傳遞函數(shù)的輸入是輸入向量p與神經(jīng)元權(quán)值向量w之間的距離取負以后和閾值向量b的和，即ni=-||wi-p||+bi。網(wǎng)絡(luò)的輸出由競爭層各神經(jīng)元的輸出組成，除了在競爭中獲勝的神經(jīng)元以外，其余的神經(jīng)元的輸出都是0，競爭傳遞函數(shù)輸入向量中最大元素對應(yīng)的神經(jīng)元是競爭的獲勝者，其輸出固定是1。
——競爭學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練：競爭學(xué)習(xí)網(wǎng)絡(luò)依據(jù)Kohonen學(xué)習(xí)規(guī)則和閾值學(xué)習(xí)規(guī)則進行訓(xùn)練，競爭網(wǎng)絡(luò)每進行一步學(xué)習(xí)，權(quán)值向量與當(dāng)前輸入向量最為接近的神經(jīng)元將在競爭中獲勝，網(wǎng)絡(luò)依據(jù)Kohonen準則對這個神經(jīng)元的權(quán)值進行調(diào)整。假設(shè)競爭層中第i個神經(jīng)元獲勝，其權(quán)值向量Wi將修改為：Wi(k)=Wi(k-1)-alpha*(p(k)-Wi(k-1))。按照這一規(guī)則，修改后的神經(jīng)元權(quán)值向量將更加接近當(dāng)前的輸入。經(jīng)過這樣調(diào)整以后，當(dāng)下一此網(wǎng)絡(luò)輸入類似的向量時，這一神經(jīng)元就很有可能在競爭中獲勝，如果輸入向量與該神經(jīng)元的權(quán)值向量相差很大，則該神經(jīng)元極有可能落敗。隨著訓(xùn)練的進行，網(wǎng)絡(luò)中的每一個節(jié)點將代表一類近似的向量，當(dāng)接受某一類向量的輸入時，對應(yīng)類別的神經(jīng)元將在競爭中獲勝，從而網(wǎng)絡(luò)就具備了分類功能。
——自組織特征映射網(wǎng)絡(luò)：
自組織特征映射網(wǎng)絡(luò)SOFM的構(gòu)造時基于人類大腦皮質(zhì)層的模仿。在人腦的腦皮層中，對外界信號刺激的感知和處理是分區(qū)進行的，因此自組織特征映射網(wǎng)絡(luò)不僅僅要對不同的信號產(chǎn)生不同的響應(yīng)，即與競爭學(xué)習(xí)網(wǎng)絡(luò)一樣具有分類功能。而且還要實現(xiàn)功能相同的神經(jīng)元在空間分布上的聚集。因此自組織特征映射網(wǎng)絡(luò)在訓(xùn)練時除了要對獲勝的神經(jīng)元的權(quán)值進行調(diào)整之外，還要對獲勝神經(jīng)元鄰域內(nèi)所有的神經(jīng)元進行權(quán)值修正，從而使得相近的神經(jīng)元具有相同的功能。自組織特征映射網(wǎng)絡(luò)的結(jié)構(gòu)域競爭學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)完全相同，只是學(xué)習(xí)算法有所區(qū)別而已。
穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這聚類的概率分布與輸入模式的概率分布相接近。

——學(xué)習(xí)向量量化網(wǎng)絡(luò)：學(xué)習(xí)向量量化網(wǎng)絡(luò)由一個競爭層和一個線性層組成，競爭層的作用仍然是分類，但是競爭層首先將輸入向量劃分為比較精細的子類別，然后在線性層將競爭層的分類結(jié)果進行合并，從而形成符合用戶定義的目標分類模式，因此線性層的神經(jīng)元個數(shù)肯定比競爭層的神經(jīng)元的個數(shù)要少。
——學(xué)習(xí)向量量化網(wǎng)絡(luò)的訓(xùn)練：學(xué)習(xí)向量量化網(wǎng)絡(luò)在建立的時候，競爭層和線性層之間的連接權(quán)重矩陣就已經(jīng)確定了。如果競爭層的某一神經(jīng)元對應(yīng)的向量子類別屬于線性層的某個神經(jīng)元所對應(yīng)的類別，則這兩個神經(jīng)元之間的連接權(quán)值＝1，否則2者之間的連接權(quán)值為0，這樣的權(quán)值矩陣就實現(xiàn)了子類別到目標類別的合并。根據(jù)這一原則，競爭層和線性層之間的連接權(quán)重矩陣的每一列除了一個元素為1之外，其余元素都是0。1在該列中的位置表示了競爭層所確定的子類別屬于哪一種目標類別（列中的每一個位置分別表示一種目標類別）。在建立網(wǎng)絡(luò)時，每一類數(shù)據(jù)占數(shù)據(jù)總數(shù)的百分比是已知的，這個比例恰恰就是競爭層神經(jīng)元歸并到線性層各個輸出時所依據(jù)的比例。由于競爭層和線性層之間的連接權(quán)重矩陣是事先確定的，所以在網(wǎng)絡(luò)訓(xùn)練的時候只需要調(diào)整競爭層的權(quán)值矩陣。
6、反饋網(wǎng)絡(luò)：
前面介紹的網(wǎng)絡(luò)都是前向網(wǎng)絡(luò)，實際應(yīng)用中還有另外一種網(wǎng)絡(luò)——反饋網(wǎng)絡(luò)。在反饋網(wǎng)絡(luò)中，信息在前向傳遞的同時還要進行反向傳遞，這種信息的反饋可以發(fā)生在不同網(wǎng)絡(luò)層的神經(jīng)元之間，也可以只局限于某一層神經(jīng)元上。由于反饋網(wǎng)絡(luò)屬于動態(tài)網(wǎng)絡(luò)，只有滿足了穩(wěn)定條件，網(wǎng)絡(luò)才能在工作了一段時間之后達到穩(wěn)定狀態(tài)。反饋網(wǎng)絡(luò)的典型代表是Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)主要用于信號檢測和預(yù)測方面，Hopfield網(wǎng)絡(luò)主要用于聯(lián)想記憶、聚類以及優(yōu)化計算等方面。
——Elman網(wǎng)絡(luò)由若干個隱層和輸出層構(gòu)成，并且在隱層存在反饋環(huán)節(jié)，隱層神經(jīng)元采用正切sigmoid型函數(shù)作為傳遞函數(shù)，輸出層神經(jīng)元傳遞函數(shù)為純線性函數(shù)，當(dāng)隱層神經(jīng)元足夠多的時候，Elman網(wǎng)絡(luò)可以保證網(wǎng)絡(luò)以任意精度逼近任意非線性函數(shù)。
——Hopfield網(wǎng)絡(luò)主要用于聯(lián)想記憶和優(yōu)化計算。聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某一個向量之后，網(wǎng)絡(luò)經(jīng)過反饋演化，從網(wǎng)絡(luò)的輸出端得到另外一個向量，這樣輸出向量稱為網(wǎng)絡(luò)從初始輸入向量聯(lián)想得到的一個穩(wěn)定的記憶，也就是網(wǎng)絡(luò)的一個平衡點。優(yōu)化計算是指某一問題存在多個解法的時候，可以設(shè)計一個目標函數(shù)，然后尋求滿足折椅目標的最優(yōu)解法。例如在很多情況下可以把能量函數(shù)看作是目標函數(shù)，得到最優(yōu)解法需要使得能量函數(shù)達到極小值，也就是所謂的能量函數(shù)的穩(wěn)定平衡點。總之，Hopfield網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使得網(wǎng)絡(luò)經(jīng)過反饋計算，最后達到穩(wěn)定狀態(tài)，這時候的輸出就是用戶需要的平衡點。
神經(jīng)網(wǎng)絡(luò)技術(shù)作為智能技術(shù)的領(lǐng)頭羊，應(yīng)用前景十分美好，不過基本的神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)快被玩爛了（基本應(yīng)用），未來的發(fā)展在于多方法的綜合應(yīng)用，研究方向分理論研究和應(yīng)用研究。理論研究將主要體現(xiàn)在利用神經(jīng)科學(xué)基礎(chǔ)研究成果，用數(shù)理方法探索智能水平更高的網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法和性能，開發(fā)新的網(wǎng)絡(luò)數(shù)理理論。應(yīng)用研究主要體現(xiàn)在網(wǎng)絡(luò)的軟硬件實現(xiàn)研究、各個領(lǐng)域特定問題的研究等等。

總結(jié)

以上是生活随笔為你收集整理的常用神经网络模型及其应用评述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。