本文主要介紹一下幾種不同類型的神經(jīng)網(wǎng)絡(luò)模型，主要有前饋神經(jīng)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)，自組織神經(jīng)網(wǎng)絡(luò)，隨機神經(jīng)網(wǎng)絡(luò)

1.前饋神經(jīng)網(wǎng)絡(luò)

1)自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)(Adaline)

自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（Adaptive Linear，簡稱Adaline) 是由威德羅（Widrow）和霍夫（Hoff）首先提出的。它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進(jìn)行訓(xùn)練。自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進(jìn)行模式聯(lián)想。

2)單層感知器

單層感知器（Perceptron）是由美國計算機科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出的。它是一個具有單層神經(jīng)元的網(wǎng)絡(luò)，由線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過學(xué)習(xí)而得到，這使單層感知器在神經(jīng)網(wǎng)絡(luò)研究中有著重要的意義和地位：它提出了自組織、自學(xué)習(xí)的思想，對能夠解決的問題，有一個收斂的算法，并從數(shù)學(xué)上給出了嚴(yán)格的證明。

3)多層感知器

單層感知器由于只有一個神經(jīng)元，功能單一，只能完成線性決策或?qū)崿F(xiàn)“與”、“或”、“非”等單一邏輯函數(shù)。多層感知器（Multilayer Perceptron）是在單層感知器的基礎(chǔ)上發(fā)展起來的，它是一種在輸入層與輸出層之間含有一層或多層隱含結(jié)點的具有正向傳播機制的神經(jīng)網(wǎng)絡(luò)模型。多層感知器克服了單層感知器的許多局限，它的性能主要來源于它的每層結(jié)點的非線性特性（節(jié)點輸出函數(shù)的非線性特性）。如果每個結(jié)點是線性的，那么多層感知器的功能就和單層感知器一樣。

在人工神經(jīng)網(wǎng)絡(luò)中，應(yīng)用最普遍的是多層前饋網(wǎng)絡(luò)模型。在1986年，Rumelhant和McClelland提出了多層前饋網(wǎng)絡(luò)的誤差反向傳播（Error Back Propagation）學(xué)習(xí)算法，簡稱BP算法，這是一種多層網(wǎng)絡(luò)的逆推學(xué)習(xí)算法。由此采用BP算法的多層前饋網(wǎng)絡(luò)也廣泛被稱為BP網(wǎng)絡(luò)。

2.反饋神經(jīng)網(wǎng)絡(luò)

反饋神經(jīng)網(wǎng)絡(luò)模型可用一完備的無向圖表示。從系統(tǒng)的觀點看，反饋神經(jīng)網(wǎng)絡(luò)模型是一反饋動力學(xué)系統(tǒng)，它具有極復(fù)雜的動力學(xué)特性。在反饋神經(jīng)網(wǎng)絡(luò)模型中，我們關(guān)心的是其穩(wěn)定性，穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)相聯(lián)存儲性質(zhì)的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計算的角度講，反饋神經(jīng)網(wǎng)絡(luò)模型具有比前饋神經(jīng)網(wǎng)絡(luò)模型更強的計算能力，它包括Hopfield神經(jīng)網(wǎng)絡(luò)、海明神經(jīng)網(wǎng)絡(luò)和雙向聯(lián)想存儲器。

1)Hopfield神經(jīng)網(wǎng)絡(luò)

1982年，美國神經(jīng)網(wǎng)絡(luò)學(xué)者霍普菲爾德（J.J.Hopfield）提出了反饋型的全連接神經(jīng)網(wǎng)絡(luò)，是一種對記憶功能的較好模擬。Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點是：每一個神經(jīng)元的輸出信號通過其它神經(jīng)元后，反饋到自己的輸入端。這種反饋方式有利于通過聯(lián)想記憶實現(xiàn)最優(yōu)化，經(jīng)過分析比較與判斷確定最優(yōu)解決問題的方法。網(wǎng)絡(luò)狀態(tài)的演變是一種非線性動力學(xué)系統(tǒng)的行為描述過程，作為一種非線性動力學(xué)系統(tǒng)，系統(tǒng)從初始化出發(fā)后，系統(tǒng)狀態(tài)經(jīng)過演變可能發(fā)生如下結(jié)果：
a) 漸進(jìn)穩(wěn)定形成穩(wěn)定點，又稱為吸引子。
b) 極限環(huán)狀態(tài)。
c) 混沌狀態(tài)。
d) 發(fā)散狀態(tài)。
發(fā)散狀態(tài)是不希望看到的。對于人工神經(jīng)網(wǎng)絡(luò)而言，由于選取網(wǎng)絡(luò)的變換函數(shù)為一個有界函數(shù)，因此系統(tǒng)狀態(tài)不會演變成發(fā)散。

2)海明神經(jīng)網(wǎng)絡(luò)(Hamming)

海明（Hamming）網(wǎng)絡(luò)由匹配子網(wǎng)和競爭子網(wǎng)組成。匹配子網(wǎng)在學(xué)習(xí)階段將若干類別的樣本記憶存儲在網(wǎng)絡(luò)的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計算輸入模式和各個樣本模式的匹配程度，并將結(jié)果送入競爭子網(wǎng)中，由競爭子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實現(xiàn)了對離散輸入模式進(jìn)行在海明距離最小意義下的識別和分類。

3)雙向聯(lián)想存儲器(BAM)

雙向聯(lián)想存儲器（BAM）是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART網(wǎng)絡(luò)模型的一種簡化形式， 是一種異聯(lián)想存儲器。它能存儲成對的模式(A1，B1)，(A2,B2),?,(AN,BN)。Ai和Bi是不同向量空間中的向量。如果模式A輸入到BAM，輸出是模式B，且若A與iA最為接近，B就是在BAM所存儲的向量iB。 BAM網(wǎng)絡(luò)模型中的神經(jīng)元為非線性單元，每個神經(jīng)元的作用相當(dāng)于一個非線性函數(shù)，這個函數(shù)一般取為S型函數(shù)：y=11+exp?x.

3.自組織神經(jīng)網(wǎng)絡(luò)

1)自適應(yīng)諧振理論(ART)

自適應(yīng)諧振理論（adaptive resonance theory，簡稱ART）的目的是為人類的心理和認(rèn)知活動建立一個統(tǒng)一的數(shù)學(xué)理論。1976年，美國學(xué)者Carpenter和Grossberg提出了ART神經(jīng)網(wǎng)絡(luò)模型。它是利用生物神經(jīng)細(xì)胞的自興奮與側(cè)抑制的原理來指導(dǎo)學(xué)習(xí)，讓輸入模式通過網(wǎng)絡(luò)的雙向連接權(quán)的作用來進(jìn)行比較與識別，最后使網(wǎng)絡(luò)對輸入模式產(chǎn)生所謂的諧振，因此來完成對輸入模式的記憶，并以同樣的方式實現(xiàn)網(wǎng)絡(luò)的回想。當(dāng)網(wǎng)絡(luò)已經(jīng)存儲了一定的內(nèi)容之后，則可用它來進(jìn)行識別。在識別過程中，如果輸入是已記憶的或與已記憶的模式十分相似，則網(wǎng)絡(luò)會把它回想出來。如果是沒有記憶的新模式，則在不影響原有記憶的前提下，把它記憶下來，并用一個沒用過的輸出層神經(jīng)元作為這一新模式的分類標(biāo)志。

ART網(wǎng)絡(luò)主要有三種形式：ART1是處理雙極型或二進(jìn)制數(shù)據(jù)，即觀察向量的每個分量是二值的，只能取0或1；ART2是用于處理連續(xù)型模擬信號，即觀察向量的每個分量可取任意實數(shù)值，也可用于二進(jìn)制輸入；ART3是分級搜索模型，它兼容前兩種結(jié)構(gòu)的功能并將兩層神經(jīng)元網(wǎng)絡(luò)擴大為任意多層神經(jīng)元網(wǎng)絡(luò)，并在神經(jīng)元的運行模型中納入人類神經(jīng)元生物電—化學(xué)反應(yīng)機制，因而具備了相當(dāng)強的功能和擴展能力。

2)自組織映射神經(jīng)網(wǎng)絡(luò)模型(SOM)

在人的感覺通道上一個很重要的組織原理是神經(jīng)元有序地排列著，并且往往可以反映出所感覺到外界刺激的某些物理特性。如在聽覺通道的每一個層次上，其神經(jīng)元與神經(jīng)纖維在結(jié)構(gòu)上的排列與外界刺激的頻率關(guān)系十分密切，對于某個頻率，相應(yīng)的神經(jīng)元具有最大的響應(yīng)，這種聽覺通道上的有序排列一直延續(xù)到聽覺皮層，盡管許多低層次上的組織是預(yù)先排好的，但高層次上的神經(jīng)組織則是通過學(xué)習(xí)自組織而形成的。由此生物背景，提出了自組織映射神經(jīng)網(wǎng)絡(luò)模型（SOM）。

3)對流神經(jīng)網(wǎng)絡(luò)模型(CPN)

CPN是由SOM模型和Grossberg外星網(wǎng)絡(luò)組合而形成的一種神經(jīng)網(wǎng)絡(luò)模型。是由美國Hecht-Nielsen和Robert-Nielsen于1987年首先提出來的。一般認(rèn)為，這種由兩種或多種網(wǎng)絡(luò)組合而成的新型網(wǎng)絡(luò)往往具有比原網(wǎng)絡(luò)模型更強的能力，它能夠克服單個網(wǎng)絡(luò)的缺陷，而且學(xué)習(xí)時間較短。

4.隨機神經(jīng)網(wǎng)絡(luò)

1) 模擬退火算法

在物理學(xué)中，對固體物質(zhì)進(jìn)行退火處理時，通常先將它加溫溶化，使其中的粒子可自由地運動，然后隨著物質(zhì)溫度的下降，粒子也形成了低能態(tài)的晶格。若在凝結(jié)點附近的溫度下降速度足夠慢，則固體物質(zhì)一定會形成最低能量的基態(tài)。對于組合優(yōu)化問題來說，它也有類似的過程，也就是說物理中固體物質(zhì)的退火過程與組合優(yōu)化問題具有相似性。組合優(yōu)化問題也是在解空間尋求花費函數(shù)最小（或最大）的解。

2) Boltzmann機

Boltzmann機是由Hinton和Sejnowski提出來的一種統(tǒng)計神經(jīng)網(wǎng)絡(luò)模型，是在Hopfield網(wǎng)絡(luò)基礎(chǔ)之上引入了隨機性機制而形成的。與Hopfield神經(jīng)網(wǎng)絡(luò)不同的是Boltzmann機具有學(xué)習(xí)能力，即其權(quán)值通過學(xué)習(xí)來調(diào)整，而不是預(yù)先設(shè)置。Boltzmann機是一種約束滿足神經(jīng)網(wǎng)絡(luò)模型。

基于模擬退火算法的波爾茲曼機訓(xùn)練的基本思想為：當(dāng)神經(jīng)網(wǎng)絡(luò)中某個與溫度對應(yīng)的參數(shù)發(fā)生變化時，神經(jīng)網(wǎng)絡(luò)的興奮模式也會如同物理上的熱運動那樣發(fā)生變化：當(dāng)溫度逐漸下降時，由決定函數(shù)判斷神經(jīng)元是否處于興奮狀態(tài)。在從高溫到低溫的退火(annealing)中，能量并不會停留在局部極小值上，而以最大的概率到達(dá)全局最小值。

總結(jié)

以上是生活随笔為你收集整理的神经网络模型分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。