神經網絡BP模型

一、BP模型概述誤差逆傳播(Error Back-Propagation)神經網絡模型簡稱為BP(Back-Propagation)網絡模型。

Pall Werbas博士于1974年在他的博士論文中提出了誤差逆傳播學習算法。完整提出并被廣泛接受誤差逆傳播學習算法的是以Rumelhart和McCelland為首的科學家小組。

他們在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息處理》)一書中，對誤差逆傳播學習算法進行了詳盡的分析與介紹，并對這一算法的潛在能力進行了深入探討。

BP網絡是一種具有3層或3層以上的階層型神經網絡。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。

網絡按有教師示教的方式進行學習，當一對學習模式提供給網絡后，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。

在這之后，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最后回到輸入層，故得名“誤差逆傳播學習算法”。

隨著這種誤差逆傳播修正的不斷進行，網絡對輸入模式響應的正確率也不斷提高。

BP網絡主要應用于以下幾個方面：1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網絡逼近一個函數；2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；3)分類：把輸入模式以所定義的合適方式進行分類；4)數據壓縮：減少輸出矢量的維數以便于傳輸或存儲。

在人工神經網絡的實際應用中，80%～90%的人工神經網絡模型采用BP網絡或它的變化形式，它也是前向網絡的核心部分，體現了人工神經網絡最精華的部分。

二、BP模型原理下面以三層BP網絡為例，說明學習和應用的原理。

1.數據定義P對學習模式(xp，dp)，p=1，2，…，P；輸入模式矩陣X[N][P]=(x1，x2，…，xP)；目標模式矩陣d[M][P]=(d1，d2，…，dP)。

三層BP網絡結構輸入層神經元節點數S0=N，i=1，2，…，S0；隱含層神經元節點數S1，j=1，2，…，S1；神經元激活函數f1[S1]；權值矩陣W1[S1][S0]；偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；神經元激活函數f2[S2]；權值矩陣W2[S2][S1]；偏差向量b2[S2]。

學習參數目標誤差?；初始權更新值Δ0；最大權更新值Δmax；權更新值增大倍數η+；權更新值減小倍數η-。

2.誤差函數定義對第p個輸入模式的誤差的計算公式為中國礦產資源評價新技術與評價新模型y2kp為BP網的計算輸出。

3.BP網絡學習公式推導BP網絡學習公式推導的指導思想是，對網絡的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網絡輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式輸入層y0i=xi，i=1，2，…，S0；隱含層中國礦產資源評價新技術與評價新模型y1j=f1(z1j)，j=1，2，…，S1；輸出層中國礦產資源評價新技術與評價新模型y2k=f2(z2k)，k=1，2，…，S2。

輸出節點的誤差公式中國礦產資源評價新技術與評價新模型對輸出層節點的梯度公式推導中國礦產資源評價新技術與評價新模型E是多個y2m的函數，但只有一個y2k與wkj有關，各y2m間相互獨立。

其中中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型設輸出層節點誤差為δ2k=(dk-y2k)·f2′(z2k)，則中國礦產資源評價新技術與評價新模型同理可得中國礦產資源評價新技術與評價新模型對隱含層節點的梯度公式推導中國礦產資源評價新技術與評價新模型E是多個y2k的函數，針對某一個w1ji，對應一個y1j，它與所有的y2k有關。

因此，上式只存在對k的求和，其中中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型設隱含層節點誤差為中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型同理可得中國礦產資源評價新技術與評價新模型4.采用彈性BP算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——彈性BP算法(RPROP)。

這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的“更新值” 確定中國礦產資源評價新技術與評價新模型其中 表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。中國礦產資源評價新技術與評價新模型RPROP算法是根據局部梯度信息實現權步的直接修改。

對于每個權，我們引入它的各自的更新值 ，它獨自確定權更新值的大小。

這是基于符號相關的自適應過程，它基于在誤差函數E上的局部梯度信息，按照以下的學習規則更新中國礦產資源評價新技術與評價新模型其中0＜η-＜1＜η+。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最后的更新太大，更新值 應由權更新值減小倍數因子η-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η+得到增大。

為了減少自由地可調參數的數目，增大倍數因子η+和減小倍數因子η–被設置到固定值η+=1.2，η-=0.5，這兩個值在大量的實踐中得到了很好的效果。

RPROP算法采用了兩個參數：初始權更新值Δ0和最大權更新值Δmax當學習開始時，所有的更新值被設置為初始值Δ0，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ0=0.1(默認設置)。

為了使權不至于變得太大，設置最大權更新值限制Δmax，默認上界設置為Δmax=50.0。在很多實驗中，發現通過設置最大權更新值Δmax到相當小的值，例如Δmax=1.0。

我們可能達到誤差減小的平滑性能。5.計算修正權值W、偏差b第t次學習，權值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t為學習次數。

6.BP網絡學習成功結束條件每次學習累積誤差平方和中國礦產資源評價新技術與評價新模型每次學習平均誤差中國礦產資源評價新技術與評價新模型當平均誤差MSE＜ε，BP網絡學習成功結束。

7.BP網絡應用預測在應用BP網絡時，提供網絡輸入給輸入層，應用給定的BP網絡及BP網絡學習得到的權值W、偏差b，網絡輸入經過從輸入層經各隱含層向輸出層的“順傳播”過程，計算出BP網的預測輸出。

8.神經元激活函數f線性函數f(x)=x，f′(x)=1，f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。一般用于輸出層，可使網絡輸出任何值。

S型函數S(x)中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0， ]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網絡輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用于模式識別時，可用于輸出層，產生逼近于0或1的二值輸出。雙曲正切S型函數中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網絡輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數類型1中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。f′(x)=0。

類型2中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。f′(x)=0。

斜坡函數類型1中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。中國礦產資源評價新技術與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。中國礦產資源評價新技術與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體算法1.三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體算法(1)輸入參數X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)計算輸入模式X[N][P]各個變量的最大值，最小值矩陣 Xmax[N]，Xmin[N]；(3)隱含層的權值W1，偏差b1初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9))輸出W1[S1][S0]，b1[S1]。

情形2：隱含層激活函數f( )都是S型函數1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

情形3：隱含層激活函數f( )為其他函數的情形1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

(4)輸出層的權值W2，偏差b2初始化1)產生[-1，1]之間均勻分布的S2×S1維隨機數矩陣W2[S2][S1]；2)產生[-1，1]之間均勻分布的S2×1維隨機數矩陣b2[S2]；3)輸出W2[S2][S1]，b2[S2]。

2.應用彈性BP算法(RPROP)學習三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b總體算法函數：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)輸入參數P對模式(xp，dp)，p=1，2，…，P；三層BP網絡結構；學習參數。

(2)學習初始化1) ；2)各層W，b的梯度值 ， 初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y0，y1，y2及第一次學習平均誤差MSE(4)進入學習循環epoch=1(5)判斷每次學習誤差是否達到目標誤差要求如果MSE＜?，則，跳出epoch循環，轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值 ， (7)求第epoch次學習各層W，b的梯度值 ， 1)求各層誤差反向傳播值δ；2)求第p次各層W，b的梯度值 ， ；3)求p=1，2，…，P次模式產生的W，b的梯度值 ， 的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值 ， 設為第epoch次學習產生的各層W，b的梯度值 ， 。

(9)求各層W，b的更新1)求權更新值Δij更新；2)求W，b的權更新值 ， ；3)求第epoch次學習修正后的各層W，b。

(10)用修正后各層W、b，由X求第epoch次學習各層輸出y0，y1，y2及第epoch次學習誤差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，轉到(5)；否則，轉到(12)。

(12)輸出處理1)如果MSE＜ε，則學習達到目標誤差要求，輸出W1，b1，W2，b2。2)如果MSE≥ε，則學習沒有達到目標誤差要求，再次學習。

(13)結束3.三層BP網絡(含輸入層，隱含層，輸出層)預測總體算法首先應用Train3lBP_RPROP( )學習三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b，然后應用三層BP網絡(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。1)輸入參數：P個需預測的輸入數據向量xp，p=1，2，…，P；三層BP網絡結構；學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量xp(p=1，2，…，P)的網絡輸出 y2[S2][P]，輸出預測結果y2[S2][P]。四、總體算法流程圖BP網絡總體算法流程圖見附圖2。

五、數據流圖BP網數據流圖見附圖1。

六、實例實例一 全國銅礦化探異常數據BP 模型分類1.全國銅礦化探異常數據準備在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據準備根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。

這7類分別是巖漿巖型銅礦、斑巖型銅礦、矽卡巖型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。3.測試數據準備全國化探數據作為測試數據集。

4.BP網絡結構隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。表8-1 模型數據表續表5.計算結果圖如圖8-2、圖8-3。

圖8-2圖8-3 全國銅礦礦床類型BP模型分類示意圖實例二 全國金礦礦石量品位數據BP 模型分類1.模型數據準備根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠巖型金礦、與中酸性浸入巖有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據準備模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。3.BP網絡結構輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據4.計算結果結果見表8-3、8-4。表8-3 訓練學習結果表8-4 預測結果(部分)續表。

谷歌人工智能寫作項目：神經網絡偽原創

神經網絡中的前向和后向算法

神經網絡中的前向和后向算法看了一段時間的深度網絡模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對很多東西的理解都只停留在“這個是干什么的”層次上面文案狗。

昨天在和小老師一起看一篇文章的時候，就被問到RNN里面的后向傳播算法具體是怎么推。當時心里覺得BP算法其實很熟悉啊，然后在推導的過程中就一臉懵逼了。

于是又去網上翻了翻相關內容，自己走了一遍，準備做個筆記，算是個交代。準備一個神經網絡模型，比如：其中，[i1,i2]代表輸入層的兩個結點，[h1,h2]代表隱藏層的兩個結點，[o1,o2]為輸出。

[b1,b2]為偏置項。連接每個結點之間的邊已經在圖中標出。

來了解一下前向算法：前向算法的作用是計算輸入層結點對隱藏層結點的影響，也就是說，把網絡正向的走一遍：輸入層—->隱藏層—->輸出層計算每個結點對其下一層結點的影響。

?? 例如，我們要算結點h1的值，那么就是：是一個簡單的加權求和。這里稍微說一下，偏置項和權重項的作用是類似的，不同之處在于權重項一般以乘法的形式體現，而偏置項以加法的形式體現。

??而在計算結點o1時，結點h1的輸出不能簡單的使用neth1的結果，必須要計算激活函數，激活函數，不是說要去激活什么，而是要指“激活的神經元的特征”通過函數保留并映射出來。

以sigmoid函數為例，h1的輸出：于是最后o1的輸出結果，也就是整個網絡的一個輸出值是：按照上面的步驟計算出out02，則[outo1,outo2]就是整個網絡第一次前向運算之后得到的結果。

后向算法：??在實際情況中，因為是隨機給定的權值，很大的可能（幾乎是100%）得到的輸出與實際結果之間的偏差非常的大，這個時候我們就需要比較我們的輸出和實際結果之間的差異，將這個殘差返回給整個網絡，調整網絡中的權重關系。

這也是為什么我們在神經網絡中需要后向傳播的原因。

其主要計算步驟如下： 1. 計算總誤差2. 隱藏層的權值更新在要更新每個邊的權重之前，必須要知道這條邊對最后輸出結果的影響，可以用整體誤差對w5求偏導求出：具體計算的時候，可以采用鏈式法則展開：在計算的時候一定要注意每個式子里面哪些自變量是什么，求導千萬不要求錯了。

??需要講出來的一個地方是，在計算w1的權重時，Etotal中的兩部分都需要對它進行求導，因為這條邊在前向傳播中對兩個殘差都有影響3. 更新權重 這一步里面就沒什么東西了，直接根據學習率來更新權重：至此，一次正向+反向傳播過程就到此為止，接下來只需要進行迭代，不斷調整邊的權重，修正網絡的輸出和實際結果之間的偏差（也就是training整個網絡）。

(1)BP算法的學習過程中有兩個過程是什么?(2)寫出BP神經網絡的數學模型,并以20

bp（back propagation）網絡是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。

bp網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。

bp神經網絡模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。人工神經網絡就是模擬人思維的第二種方式。

這是一個非線性動力學系統，其特色在于信息的分布式存儲和并行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網絡系統所能實現的行為卻是極其豐富多彩的。

人工神經網絡首先要以一定的學習準則進行學習，然后才能工作。現以人工神經網絡對手寫“a”、“b”兩個字母的識別為例進行說明，規定當“a”輸入網絡時，應該輸出“1”，而當輸入為“b”時，輸出為“0”。

所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯誤的可能性。

首先，給網絡的各連接權值賦予(0，1)區間內的隨機值，將“a”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。

在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網絡再次遇到“a”模式輸入時，仍然能作出正確的判斷。

如果輸出為“0”(即結果錯誤)，則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“a”模式輸入時，減小犯同樣錯誤的可能性。

如此操作調整，當給網絡輪番輸入若干個手寫字母“a”、“b”后，經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。

這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。

一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的模式也就越多。如圖所示拓撲結構的單隱層前饋網絡，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。

它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網絡系統。

單計算層前饋神經網絡只能求解線性可分問題，能夠求解非線性問題的網絡必須是具有隱層的多層神經網絡。神經網絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。

主要的研究工作集中在以下幾個方面：（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網絡、神經系統的生物原型結構及其功能機理。（2）建立理論模型。

根據生物原型的研究，建立神經元、神經網絡的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。（3）網絡模型與算法研究。

在理論模型研究的基礎上構作具體的神經網絡模型，以實現計算機模擬或準備制作硬件，包括網絡學習算法的研究。這方面的工作也稱為技術模型研究。（4）人工神經網絡應用系統。

在網絡模型與算法研究的基礎上，利用人工神經網絡組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、制成機器人等等。

縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網絡的研究將伴隨著重重困難的克服而日新月異。

神經網絡可以用作分類、聚類、預測等。神經網絡需要有一定量的歷史數據，通過歷史數據的訓練，網絡可以學習到數據中隱含的知識。

在你的問題中，首先要找到某些問題的一些特征，以及對應的評價數據，用這些數據來訓練神經網絡。雖然bp網絡得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由于學習速率是固定的，因此網絡的收斂速度慢，需要較長的訓練時間。

對于一些復雜問題，bp算法需要的訓練時間可能非常長，這主要是由于學習速率太小造成的，可采用變化的學習速率或自適應的學習速率加以改進。

其次，bp算法可以使權值收斂到某個值，但并不保證其為誤差平面的全局最小值，這是因為采用梯度下降法可能產生一個局部最小值。對于這個問題，可以采用附加動量法來解決。

再次，網絡隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網絡往往存在很大的冗余性，在一定程度上也增加了網絡學習的負擔。最后，網絡的學習和記憶具有不穩定性。

也就是說，如果增加了學習樣本，訓練好的網絡就需要從頭開始訓練，對于以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

神經網絡ART1模型

一、ART1模型概述自適應共振理論(Adaptive Resonance Theory)簡稱ART，是于1976年由美國Boston大學S.Grossberg提出來的。

這一理論的顯著特點是，充分利用了生物神經細胞之間自興奮與側抑制的動力學原理，讓輸入模式通過網絡雙向連接權的識別與比較，最后達到共振來完成對自身的記憶，并以同樣的方法實現網絡的回想。

當提供給網絡回想的是一個網絡中記憶的、或是與已記憶的模式十分相似的模式時，網絡將會把這個模式回想出來，提出正確的分類。

如果提供給網絡回想的是一個網絡中不存在的模式，則網絡將在不影響已有記憶的前提下，將這一模式記憶下來，并將分配一個新的分類單元作為這一記憶模式的分類標志。

S.Grossberg和G.A.Carpenter經過多年研究和不斷發展，至今已提出了ART1，ART2和ART3三種網絡結構。

ART1網絡處理雙極型(或二進制)數據，即觀察矢量的分量是二值的，它只取0或1。二、ART1模型原理ART1網絡是兩層結構，分輸入層(比較層)和輸出層(識別層)。

從輸入層到輸出層由前饋連接權連接，從輸出層到輸入層由反饋連接權連接。

設網絡輸入層有N個神經元，網絡輸出層有M個神經元，二值輸入模式和輸出向量分別為：Xp=( ， ，…， )，Yp=( ， ，…， )，p=1，2，…，P，其中P為輸入學習模式的個數。

設前饋連接權和反饋連接權矩陣分別為W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

ART1網絡的學習及工作過程，是通過反復地將輸入學習模式由輸入層向輸出層自下而上的識別和由輸出層向輸入層自上而下的比較過程來實現的。

當這種自下而上的識別和自上而下的比較達到共振，即輸出向量可以正確反映輸入學習模式的分類，且網絡原有記憶沒有受到不良影響時，網絡對一個輸入學習模式的記憶分類則告完成。

ART1網絡的學習及工作過程，可以分為初始化階段、識別階段、比較階段和探尋階段。1.初始化階段ART1網絡需要初始化的參數主要有3個：即W=(wnm)N×M，T=(tnm)N×M和ρ。

反饋連接權T=(tnm)N×M在網絡的整個學習過程中取0或1二值形式。這一參數實際上反映了輸入層和輸出層之間反饋比較的范圍或強度。由于網絡在初始化前沒有任何記憶，相當于一張白紙，即沒有選擇比較的余的。

因此可將T的元素全部設置為1，即tnm=1，n=1，2，…，N，m=1，2，…，M。(1)這意味著網絡在初始狀態時，輸入層和輸出層之間將進行全范圍比較，隨著學習過程的深入，再按一定規則選擇比較范圍。

前饋連接權W=(wnm)N×M在網絡學習結束后，承擔著對學習模式的記憶任務。在對W初始化時，應該給所有學習模式提供一個平等競爭的機會，然后通過對輸入模式的競爭，按一定規則調整W。

W的初始值按下式設置：中國礦產資源評價新技術與評價新模型ρ稱為網絡的警戒參數，其取值范圍為0＜ρ≤1。2.識別階段ART1網絡的學習識別階段發生在輸入學習模式由輸入層向輸出層的傳遞過程中。

在這一階段，首先將一個輸入學習模式Xp=( ， ，…， )提供給網絡的輸入層，然后把作為輸入學習模式的存儲媒介的前饋連接權W=(wnm)N×M與表示對這一輸入學習模式分類結果的輸出層的各個神經元進行比較，以尋找代表正確分類結果的神經元g。

這一比較與尋找過程是通過尋找輸出層神經元最大加權輸入值，即神經元之間的競爭過程實現的，如下式所示：中國礦產資源評價新技術與評價新模型中國礦產資源評價新技術與評價新模型中國礦產資源評價新技術與評價新模型至此，網絡的識別過程只是告一段落，并沒有最后結束。

此時，神經元m=g是否真正有資格代表對輸入學習模式Xp的正確分類，還有待于下面的比較和尋找階段來進一步確定。一般情況下需要對代表同一輸入學習模式的分類結果的神經元進行反復識別。

3.比較階段ART1網絡的比較階段的主要職能是完成以下檢查任務，每當給已學習結束的網絡提供一個供識別的輸入模式時，首先檢查一下這個模式是否是已學習過的模式，如果是，則讓網絡回想出這個模式的分類結果；如果不是，則對這個模式加以記憶，并分配一個還沒有利用過的輸出層神經元來代表這個模式的分類結果。

具體過程如下：把由輸出層每個神經元反饋到輸入層的各個神經元的反饋連接權向量Tm=(t1m，t2m，…，tNm)，m=1，2，…，M作為對已學習的輸入模式的一條條記錄，即讓向量Tm=(t1m，t2m，…，tNm)與輸出層第m個神經元所代表的某一學習輸入模式Xp=( ， ，…， )完全相等。

當需要網絡對某個輸入模式進行回想時，這個輸入模式經過識別階段，競爭到神經元g作為自己的分類結果后，要檢查神經元g反饋回來的向量Tg是否與輸入模式相等。

如果相等，則說明這是一個已記憶過的模式，神經元g代表了這個模式的分類結果，識別與比較產生了共振，網絡不需要再經過尋找階段，直接進入下一個輸入模式的識別階段；如果不相符，則放棄神經元g的分類結果，進入尋找階段。

在比較階段，當用向量Tg與輸入模式XP進行比較時，允許二者之間有一定的差距，差距的大小由警戒參數ρ決定。首先計算中國礦產資源評價新技術與評價新模型Cg表示向量Tg與輸入模式XP的擬合度。

在式中， (tng*xn)表示向量Tg=(t1g，t2g，…，tNg)與輸入模式Xp=( ， ，…， )的邏輯“與”。當Tg=XP時，Cg=1。

當Cg≥ρ時，說明擬合度大于要求，沒有超過警戒線。以上兩種情況均可以承認識別結果。

當Cg≠1且Cg＞ρ時，按式(6)式(7)將前饋連接權Wg=(w1g，w2g，…，wNg)和反饋連接權Tg=(t1g，t2g，…，tNg)向著與XP更接近的方向調整。

中國礦產資源評價新技術與評價新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(7)當Cg＜ρ時，說明擬合度小于要求，超過警戒線，則拒絕識別結果，將神經元g重新復位為0，并將這個神經元排除在下次識別范圍之外，網絡轉入尋找階段。

4.尋找階段尋找階段是網絡在比較階段拒絕識別結果之后轉入的一個反復探尋的階段，在這一階段中，網絡將在余下的輸出層神經元中搜索輸入模式Xp的恰當分類。

只要在輸出向量Yp=( ， ，… )中含有與這一輸入模式Xp相對應、或在警戒線以內相對應的分類單元，則網絡可以得到與記憶模式相符的分類結果。

如果在已記憶的分類結果中找不到與現在輸入的模式相對應的分類，但在輸出向量中還有未曾使用過的單元，則可以給這個輸入模式分配一個新的分類單元。

在以上兩種情況下，網絡的尋找過程總能獲得成功，也就是說共振終將發生。

三、總體算法設網絡輸入層有N個神經元，網絡輸出層有M個神經元，二值輸入模式和輸出向量分別為：Xp=( ， ，…， )，Yp=( ， ，…， )p=1，2，…，p，其中p為輸入學習模式的個數。

設前饋連接權和反饋連接權矩陣分別為W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

(1)網絡初始化tnm(0)=1，中國礦產資源評價新技術與評價新模型n=1，2，…，N，m=1，2，…，M。0＜ρ≤1。

(2)將輸入模式Xp=( ， ，…， )提供給網絡的輸入層(3)計算輸出層各神經元輸入加權和中國礦產資源評價新技術與評價新模型(4)選擇XP的最佳分類結果中國礦產資源評價新技術與評價新模型令神經元g的輸出為1。

(5)計算中國礦產資源評價新技術與評價新模型中國礦產資源評價新技術與評價新模型判斷中國礦產資源評價新技術與評價新模型當式(8)成立，轉到(7)，否則，轉到(6)。

(6)取消識別結果，將輸出層神經元g的輸出值復位為0，并將這一神經元排除在下一次識別的范圍之外，返回步驟(4)。

當所有已利用過的神經元都無法滿足式(8)，則選擇一個新的神經元作為分類結果，轉到步驟(7)。

(7)承認識別結果，并按下式調整連接權中國礦產資源評價新技術與評價新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(8)將步驟(6)復位的所有神經元重新加入識別范圍之內，返回步驟(2)對下一模式進行識別。(9)輸出分類識別結果。(10)結束。四、實例實例為ART1神經網絡模型在柴北緣-東昆侖造山型金礦預測的應用。

1.建立綜合預測模型柴北緣—東昆侖地區位于青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復合造山帶(殷鴻福等，1998)。

根據柴北緣—東昆侖地區地質概括以及造山型金礦成礦特點，選擇與成礦相關密切的專題數據，建立柴北緣—東昆侖地區的綜合信息找礦模型：1)金礦重砂異常數據是金礦的重要找礦標志。

2)金礦水化異常數據是金礦的重要找礦標志。3)金礦的化探異常數據控制金礦床的分布。4)金礦的空間分布與通過該區的深大斷裂有關。5)研究區內斷裂密集程度控制金礦的產出。

6)重力構造的存在與否是金礦存在的一個標志。7)磁力構造線的存在也是金礦存在的一個重要標志。8)研究區地質復雜程度也對金礦的產出具有重要的作用。9)研究區存在的礦(化)點是一個重要的標志。

2.劃分預測單元預測工作是在單元上進行的，預測工作的結果是與單元有著較為直接的聯系，在找礦模型指導下，以最大限度地反映成礦信息和預測單元面積最小為原則，通過對研究區內地質、地球物理、地球化學等的綜合資料分析，對可能的成礦地段圈定了預測單元。

采用網格化單元作為本次研究的預測單元，網格單元的大小是，40×40，將研究區劃分成774個預測單元。

3.變量選擇(表8-6)4.ART1模型預測結果ART1神經網絡模型算法中，給定不同的閾值，將改變預測分類的結果。

本次實驗選取得閾值為ρ=0.41，系統根據此閾值進行計算獲得計算結果，并通過將不同的分類結果賦予不同的顏色，最終獲得ART模型預測單元的分類結果。分類的結果是形成29個類別。

分類結果用不同的顏色表示，其具體結果地顯示見圖8-5。圖形中顏色只代表類別號，不代表分類的好壞。將礦點專題圖層疊加以后，可以看出，顏色為灰色的單元與礦的關系更為密切。

表8-6 預測變量標志的選擇表圖8-5 東昆侖—柴北緣地區基于ARTL模型的金礦分類結果圖。

神經網絡算法的三大類分別是？

神經網絡算法的三大類分別是：1、前饋神經網絡：這是實際應用中最常見的神經網絡類型。第一層是輸入，最后一層是輸出。如果有多個隱藏層，我們稱之為“深度”神經網絡。他們計算出一系列改變樣本相似性的變換。

各層神經元的活動是前一層活動的非線性函數。2、循環網絡：循環網絡在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。

循環網絡的目的是用來處理序列數據。在傳統的神經網絡模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網絡對于很多問題卻無能無力。

循環神經網路，即一個序列當前的輸出與前面的輸出也有關。

具體的表現形式為網絡會對前面的信息進行記憶并應用于當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

3、對稱連接網絡：對稱連接網絡有點像循環網絡，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網絡，對稱連接網絡更容易分析。這個網絡中有更多的限制，因為它們遵守能量函數定律。

沒有隱藏單元的對稱連接網絡被稱為“Hopfield 網絡”。有隱藏單元的對稱連接的網絡被稱為玻爾茲曼機。

擴展資料：應用及發展：心理學家和認知科學家研究神經網絡的目的在于探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。

生物學、醫學、腦科學專家試圖通過神經網絡的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望于臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。

BP神經網絡和感知器有什么區別？

1、發展背景不同：感知器是Frank Rosenblatt在1957年所發明的一種人工神經網絡，可以被視為一種最簡單形式的前饋式人工神經網絡，是一種二元線性分類器。

而BP神經網絡發展于20世紀80年代中期，David Runelhart。

Geoffrey Hinton和Ronald W-llians、DavidParker等人分別獨立發現了誤差反向傳播算法，簡稱BP，系統解決了多層神經網絡隱含層連接權學習問題，并在數學上給出了完整推導。

2、結構不同：BP網絡是在輸入層與輸出層之間增加若干層(一層或多層)神經元，這些神經元稱為隱單元，它們與外界沒有直接的聯系，但其狀態的改變，則能影響輸入與輸出之間的關系，每一層可以有若干個節點。

感知器也被指為單層的人工神經網絡，以區別于較復雜的多層感知器（Multilayer Perceptron）。 作為一種線性分類器，（單層）感知器可說是最簡單的前向人工神經網絡形式。

3、算法不同：BP神經網絡的計算過程由正向計算過程和反向計算過程組成。正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，并轉向輸出層，每層神經元的狀態只影響下一層神經元的狀態。

感知器使用特征向量來表示的前饋式人工神經網絡，它是一種二元分類器，輸入直接經過權重關系轉換為輸出。參考資料來源：百度百科-感知器參考資料來源：百度百科-BP神經網絡。

?

總結

以上是生活随笔為你收集整理的神经网络模型的实际案例,神经网络模型数据处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。