人工神經網絡分類方法

從20世紀80年代末期，人工神經網絡方法開始應用于遙感圖像的自動分類。

目前，在遙感圖像的自動分類方面，應用和研究比較多的人工神經網絡方法主要有以下幾種：（1）BP（Back Propagation）神經網絡，這是一種應用較廣泛的前饋式網絡，屬于有監督分類算法，它將先驗知識融于網絡學習之中，加以最大限度地利用，適應性好，在類別數少的情況下能夠得到相當高的精度，但是其網絡的學習主要采用誤差修正算法，識別對象種類多時，隨著網絡規模的擴大，需要的計算過程較長，收斂緩慢而不穩定，且識別精度難以達到要求。

（2）Hopfield神經網絡。屬于反饋式網絡。主要采用Hebb規則進行學習，一般情況下計算的收斂速度較快。

這種網絡是美國物理學家J.J.Hopfield于1982年首先提出的，它主要用于模擬生物神經網絡的記憶機理。

Hopfield神經網絡狀態的演變過程是一個非線性動力學系統，可以用一組非線性差分方程來描述。

系統的穩定性可用所謂的“能量函數”進行分析，在滿足一定條件下，某種“能量函數”的能量在網絡運行過程中不斷地減少，最后趨于穩定的平衡狀態。

Hopfield網絡的演變過程是一種計算聯想記憶或求解優化問題的過程。（3）Kohonen網絡。

這是一種由芬蘭赫爾辛基大學神經網絡專家Kohonen（1981）提出的自組織神經網絡，其采用了無導師信息的學習算法，這種學習算法僅根據輸入數據的屬性而調整權值，進而完成向環境學習、自動分類和聚類等任務。

其最大的優點是最終的各個相鄰聚類之間是有相似關系的，即使識別時把樣本映射到了一個錯誤的節點，它也傾向于被識別成同一個因素或者一個相近的因素，這就十分接近人的識別特性。

谷歌人工智能寫作項目：神經網絡偽原創

神經網絡的分類

人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式文案狗。

邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，并用符號表示，然后，根據符號運算按串行模式進行邏輯推理；這一過程可以寫成串行的指令，讓計算機執行。

然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。

這種思維方式的根本之點在于以下兩點:1.信息是通過神經元上的興奮模式分布儲在網絡上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。 人工神經網絡就是模擬人思維的第二種方式。

這是一個非線性動力學系統，其特色在于信息的分布式存儲和并行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網絡系統所能實現的行為卻是極其豐富多彩的。

神經網絡算法的三大類分別是？

神經網絡算法的三大類分別是：1、前饋神經網絡：這是實際應用中最常見的神經網絡類型。第一層是輸入，最后一層是輸出。如果有多個隱藏層，我們稱之為“深度”神經網絡。他們計算出一系列改變樣本相似性的變換。

各層神經元的活動是前一層活動的非線性函數。2、循環網絡：循環網絡在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。

循環網絡的目的是用來處理序列數據。在傳統的神經網絡模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網絡對于很多問題卻無能無力。

循環神經網路，即一個序列當前的輸出與前面的輸出也有關。

具體的表現形式為網絡會對前面的信息進行記憶并應用于當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

3、對稱連接網絡：對稱連接網絡有點像循環網絡，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網絡，對稱連接網絡更容易分析。這個網絡中有更多的限制，因為它們遵守能量函數定律。

沒有隱藏單元的對稱連接網絡被稱為“Hopfield 網絡”。有隱藏單元的對稱連接的網絡被稱為玻爾茲曼機。

擴展資料：應用及發展：心理學家和認知科學家研究神經網絡的目的在于探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。

生物學、醫學、腦科學專家試圖通過神經網絡的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望于臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。

神經網絡如何做分類？

神經網絡BP模型

一、BP模型概述誤差逆傳播(Error Back-Propagation)神經網絡模型簡稱為BP(Back-Propagation)網絡模型。

Pall Werbas博士于1974年在他的博士論文中提出了誤差逆傳播學習算法。完整提出并被廣泛接受誤差逆傳播學習算法的是以Rumelhart和McCelland為首的科學家小組。

他們在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息處理》)一書中，對誤差逆傳播學習算法進行了詳盡的分析與介紹，并對這一算法的潛在能力進行了深入探討。

BP網絡是一種具有3層或3層以上的階層型神經網絡。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。

網絡按有教師示教的方式進行學習，當一對學習模式提供給網絡后，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。

在這之后，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最后回到輸入層，故得名“誤差逆傳播學習算法”。

隨著這種誤差逆傳播修正的不斷進行，網絡對輸入模式響應的正確率也不斷提高。

BP網絡主要應用于以下幾個方面：1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網絡逼近一個函數；2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；3)分類：把輸入模式以所定義的合適方式進行分類；4)數據壓縮：減少輸出矢量的維數以便于傳輸或存儲。

在人工神經網絡的實際應用中，80%～90%的人工神經網絡模型采用BP網絡或它的變化形式，它也是前向網絡的核心部分，體現了人工神經網絡最精華的部分。

二、BP模型原理下面以三層BP網絡為例，說明學習和應用的原理。

1.數據定義P對學習模式(xp，dp)，p=1，2，…，P；輸入模式矩陣X[N][P]=(x1，x2，…，xP)；目標模式矩陣d[M][P]=(d1，d2，…，dP)。

三層BP網絡結構輸入層神經元節點數S0=N，i=1，2，…，S0；隱含層神經元節點數S1，j=1，2，…，S1；神經元激活函數f1[S1]；權值矩陣W1[S1][S0]；偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；神經元激活函數f2[S2]；權值矩陣W2[S2][S1]；偏差向量b2[S2]。

學習參數目標誤差?；初始權更新值Δ0；最大權更新值Δmax；權更新值增大倍數η+；權更新值減小倍數η-。

2.誤差函數定義對第p個輸入模式的誤差的計算公式為中國礦產資源評價新技術與評價新模型y2kp為BP網的計算輸出。

3.BP網絡學習公式推導BP網絡學習公式推導的指導思想是，對網絡的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網絡輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式輸入層y0i=xi，i=1，2，…，S0；隱含層中國礦產資源評價新技術與評價新模型y1j=f1(z1j)，j=1，2，…，S1；輸出層中國礦產資源評價新技術與評價新模型y2k=f2(z2k)，k=1，2，…，S2。

輸出節點的誤差公式中國礦產資源評價新技術與評價新模型對輸出層節點的梯度公式推導中國礦產資源評價新技術與評價新模型E是多個y2m的函數，但只有一個y2k與wkj有關，各y2m間相互獨立。

其中中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型設輸出層節點誤差為δ2k=(dk-y2k)·f2′(z2k)，則中國礦產資源評價新技術與評價新模型同理可得中國礦產資源評價新技術與評價新模型對隱含層節點的梯度公式推導中國礦產資源評價新技術與評價新模型E是多個y2k的函數，針對某一個w1ji，對應一個y1j，它與所有的y2k有關。

因此，上式只存在對k的求和，其中中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型設隱含層節點誤差為中國礦產資源評價新技術與評價新模型則中國礦產資源評價新技術與評價新模型同理可得中國礦產資源評價新技術與評價新模型4.采用彈性BP算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——彈性BP算法(RPROP)。

這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的“更新值” 確定中國礦產資源評價新技術與評價新模型其中 表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。中國礦產資源評價新技術與評價新模型RPROP算法是根據局部梯度信息實現權步的直接修改。

對于每個權，我們引入它的各自的更新值 ，它獨自確定權更新值的大小。

這是基于符號相關的自適應過程，它基于在誤差函數E上的局部梯度信息，按照以下的學習規則更新中國礦產資源評價新技術與評價新模型其中0＜η-＜1＜η+。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最后的更新太大，更新值 應由權更新值減小倍數因子η-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η+得到增大。

為了減少自由地可調參數的數目，增大倍數因子η+和減小倍數因子η–被設置到固定值η+=1.2，η-=0.5，這兩個值在大量的實踐中得到了很好的效果。

RPROP算法采用了兩個參數：初始權更新值Δ0和最大權更新值Δmax當學習開始時，所有的更新值被設置為初始值Δ0，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ0=0.1(默認設置)。

為了使權不至于變得太大，設置最大權更新值限制Δmax，默認上界設置為Δmax=50.0。在很多實驗中，發現通過設置最大權更新值Δmax到相當小的值，例如Δmax=1.0。

我們可能達到誤差減小的平滑性能。5.計算修正權值W、偏差b第t次學習，權值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t為學習次數。

6.BP網絡學習成功結束條件每次學習累積誤差平方和中國礦產資源評價新技術與評價新模型每次學習平均誤差中國礦產資源評價新技術與評價新模型當平均誤差MSE＜ε，BP網絡學習成功結束。

7.BP網絡應用預測在應用BP網絡時，提供網絡輸入給輸入層，應用給定的BP網絡及BP網絡學習得到的權值W、偏差b，網絡輸入經過從輸入層經各隱含層向輸出層的“順傳播”過程，計算出BP網的預測輸出。

8.神經元激活函數f線性函數f(x)=x，f′(x)=1，f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。一般用于輸出層，可使網絡輸出任何值。

S型函數S(x)中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0， ]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網絡輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用于模式識別時，可用于輸出層，產生逼近于0或1的二值輸出。雙曲正切S型函數中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網絡輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數類型1中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。f′(x)=0。

類型2中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。f′(x)=0。

斜坡函數類型1中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。中國礦產資源評價新技術與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2中國礦產資源評價新技術與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。中國礦產資源評價新技術與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體算法1.三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體算法(1)輸入參數X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)計算輸入模式X[N][P]各個變量的最大值，最小值矩陣 Xmax[N]，Xmin[N]；(3)隱含層的權值W1，偏差b1初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9))輸出W1[S1][S0]，b1[S1]。

情形2：隱含層激活函數f( )都是S型函數1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

情形3：隱含層激活函數f( )為其他函數的情形1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

(4)輸出層的權值W2，偏差b2初始化1)產生[-1，1]之間均勻分布的S2×S1維隨機數矩陣W2[S2][S1]；2)產生[-1，1]之間均勻分布的S2×1維隨機數矩陣b2[S2]；3)輸出W2[S2][S1]，b2[S2]。

2.應用彈性BP算法(RPROP)學習三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b總體算法函數：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)輸入參數P對模式(xp，dp)，p=1，2，…，P；三層BP網絡結構；學習參數。

(2)學習初始化1) ；2)各層W，b的梯度值 ， 初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y0，y1，y2及第一次學習平均誤差MSE(4)進入學習循環epoch=1(5)判斷每次學習誤差是否達到目標誤差要求如果MSE＜?，則，跳出epoch循環，轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值 ， (7)求第epoch次學習各層W，b的梯度值 ， 1)求各層誤差反向傳播值δ；2)求第p次各層W，b的梯度值 ， ；3)求p=1，2，…，P次模式產生的W，b的梯度值 ， 的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值 ， 設為第epoch次學習產生的各層W，b的梯度值 ， 。

(9)求各層W，b的更新1)求權更新值Δij更新；2)求W，b的權更新值 ， ；3)求第epoch次學習修正后的各層W，b。

(10)用修正后各層W、b，由X求第epoch次學習各層輸出y0，y1，y2及第epoch次學習誤差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，轉到(5)；否則，轉到(12)。

(12)輸出處理1)如果MSE＜ε，則學習達到目標誤差要求，輸出W1，b1，W2，b2。2)如果MSE≥ε，則學習沒有達到目標誤差要求，再次學習。

(13)結束3.三層BP網絡(含輸入層，隱含層，輸出層)預測總體算法首先應用Train3lBP_RPROP( )學習三層BP網絡(含輸入層，隱含層，輸出層)權值W、偏差b，然后應用三層BP網絡(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。1)輸入參數：P個需預測的輸入數據向量xp，p=1，2，…，P；三層BP網絡結構；學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量xp(p=1，2，…，P)的網絡輸出 y2[S2][P]，輸出預測結果y2[S2][P]。四、總體算法流程圖BP網絡總體算法流程圖見附圖2。

五、數據流圖BP網數據流圖見附圖1。

六、實例實例一 全國銅礦化探異常數據BP 模型分類1.全國銅礦化探異常數據準備在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據準備根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。

這7類分別是巖漿巖型銅礦、斑巖型銅礦、矽卡巖型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。3.測試數據準備全國化探數據作為測試數據集。

4.BP網絡結構隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。表8-1 模型數據表續表5.計算結果圖如圖8-2、圖8-3。

圖8-2圖8-3 全國銅礦礦床類型BP模型分類示意圖實例二 全國金礦礦石量品位數據BP 模型分類1.模型數據準備根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠巖型金礦、與中酸性浸入巖有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據準備模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。3.BP網絡結構輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據4.計算結果結果見表8-3、8-4。表8-3 訓練學習結果表8-4 預測結果(部分)續表。

?

總結

以上是生活随笔為你收集整理的神经网络如何实现分类,神经网络分类特点区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。