神经网络算法有哪些模型,常用的神经网络模型
unet模型屬于哪種神經(jīng)網(wǎng)絡(luò)
unet模型屬于卷積神經(jīng)網(wǎng)絡(luò)。
是德國弗萊堡大學(xué)計算機(jī)科學(xué)系為生物醫(yī)學(xué)圖像分割而開發(fā)的，該網(wǎng)絡(luò)基于全卷積網(wǎng)絡(luò)其架構(gòu)經(jīng)過修改和擴(kuò)展，可以使用更少的訓(xùn)練圖像并產(chǎn)生更精確的分割，Unet是2015年誕生的模型。
unet模型的特點(diǎn)Unet是比較早的基于深度學(xué)習(xí)的分割算法了，優(yōu)點(diǎn)是速度真的快P100上基于VGG的backbone能跑到50幀，同時不是太開放的場景下可以做到令人滿意的分割效果，在對實(shí)時性要求較高的場合下是比較適用的不是所有的場合都能上MaskRCNN的Backbone大一點(diǎn)。
如果顯卡差點(diǎn)就容易爆顯存了，同時相比大分割網(wǎng)絡(luò)的模型動輒幾百M(fèi)b，Unet用小backbone模型就可以做到10Mb內(nèi)，Conv層通道減少一點(diǎn)再把網(wǎng)絡(luò)模型參數(shù)分開，模型大小可以做到很小，用CPU跑速度都挺快的，關(guān)鍵是分割精度在較為簡單場景下還可以。
谷歌人工智能寫作項(xiàng)目：神經(jīng)網(wǎng)絡(luò)偽原創(chuàng)
時間序列模型和神經(jīng)網(wǎng)絡(luò)模型有何區(qū)別？
神經(jīng)網(wǎng)絡(luò)是什么
神經(jīng)網(wǎng)絡(luò)是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。
生物神經(jīng)網(wǎng)絡(luò)主要是指人腦的神經(jīng)網(wǎng)絡(luò)，它是人工神經(jīng)網(wǎng)絡(luò)的技術(shù)原型。
人腦是人類思維的物質(zhì)基礎(chǔ)，思維的功能定位在大腦皮層，后者含有大約10^11個神經(jīng)元，每個神經(jīng)元又通過神經(jīng)突觸與大約103個其它神經(jīng)元相連，形成一個高度復(fù)雜高度靈活的動態(tài)網(wǎng)絡(luò)。
作為一門學(xué)科，生物神經(jīng)網(wǎng)絡(luò)主要研究人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能及其工作機(jī)制，意在探索人腦思維和智能活動的規(guī)律。
人工神經(jīng)網(wǎng)絡(luò)是生物神經(jīng)網(wǎng)絡(luò)在某種簡化意義下的技術(shù)復(fù)現(xiàn)，作為一門學(xué)科，它的主要任務(wù)是根據(jù)生物神經(jīng)網(wǎng)絡(luò)的原理和實(shí)際應(yīng)用的需要建造實(shí)用的人工神經(jīng)網(wǎng)絡(luò)模型，設(shè)計相應(yīng)的學(xué)習(xí)算法，模擬人腦的某種智能活動，然后在技術(shù)上實(shí)現(xiàn)出來用以解決實(shí)際問題。
因此，生物神經(jīng)網(wǎng)絡(luò)主要研究智能的機(jī)理；人工神經(jīng)網(wǎng)絡(luò)主要研究智能機(jī)理的實(shí)現(xiàn)，兩者相輔相成。擴(kuò)展資料：神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。
主要的研究工作集中在以下幾個方面：1、生物原型從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。
2、建立模型根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識模型、物理化學(xué)模型、數(shù)學(xué)模型等。
3、算法在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱為技術(shù)模型研究。
神經(jīng)網(wǎng)絡(luò)用到的算法就是向量乘法，并且廣泛采用符號函數(shù)及其各種逼近。并行、容錯、可以硬件實(shí)現(xiàn)以及自我學(xué)習(xí)特性，是神經(jīng)網(wǎng)絡(luò)的幾個基本優(yōu)點(diǎn)，也是神經(jīng)網(wǎng)絡(luò)計算方法與傳統(tǒng)方法的區(qū)別所在。
參考資料：百度百科-神經(jīng)網(wǎng)絡(luò)（通信定義）
有哪些深度神經(jīng)網(wǎng)絡(luò)模型？
目前經(jīng)常使用的深度神經(jīng)網(wǎng)絡(luò)模型主要有卷積神經(jīng)網(wǎng)絡(luò)(CNN) 、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、深信度網(wǎng)絡(luò)(DBN) 、深度自動編碼器(AutoEncoder) 和生成對抗網(wǎng)絡(luò)(GAN) 等。
遞歸神經(jīng)網(wǎng)絡(luò)實(shí)際.上包含了兩種神經(jīng)網(wǎng)絡(luò)。
一種是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent NeuralNetwork) ;另一種是結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Network)，它使用相似的網(wǎng)絡(luò)結(jié)構(gòu)遞歸形成更加復(fù)雜的深度網(wǎng)絡(luò)。
RNN它們都可以處理有序列的問題，比如時間序列等且RNN有“記憶”能力，可以“模擬”數(shù)據(jù)間的依賴關(guān)系。卷積網(wǎng)絡(luò)的精髓就是適合處理結(jié)構(gòu)化數(shù)據(jù)。
關(guān)于深度神經(jīng)網(wǎng)絡(luò)模型的相關(guān)學(xué)習(xí)，推薦CDA數(shù)據(jù)師的相關(guān)課程，課程以項(xiàng)目調(diào)動學(xué)員數(shù)據(jù)挖掘?qū)嵱媚芰Φ膱鼍笆浇虒W(xué)為主，在講師設(shè)計的業(yè)務(wù)場景下由講師不斷提出業(yè)務(wù)問題，再由學(xué)員循序漸進(jìn)思考并操作解決問題的過程中，幫助學(xué)員掌握真正過硬的解決業(yè)務(wù)問題的數(shù)據(jù)挖掘能力。
這種教學(xué)方式能夠引發(fā)學(xué)員的獨(dú)立思考及主觀能動性，學(xué)員掌握的技能知識可以快速轉(zhuǎn)化為自身能夠靈活應(yīng)用的技能，在面對不同場景時能夠自由發(fā)揮。點(diǎn)擊預(yù)約免費(fèi)試聽課。
神經(jīng)網(wǎng)絡(luò)BP模型
一、BP模型概述誤差逆?zhèn)鞑?Error Back-Propagation)神經(jīng)網(wǎng)絡(luò)模型簡稱為BP(Back-Propagation)網(wǎng)絡(luò)模型。
Pall Werbas博士于1974年在他的博士論文中提出了誤差逆?zhèn)鞑W(xué)習(xí)算法。完整提出并被廣泛接受誤差逆?zhèn)鞑W(xué)習(xí)算法的是以Rumelhart和McCelland為首的科學(xué)家小組。
他們在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息處理》)一書中，對誤差逆?zhèn)鞑W(xué)習(xí)算法進(jìn)行了詳盡的分析與介紹，并對這一算法的潛在能力進(jìn)行了深入探討。
BP網(wǎng)絡(luò)是一種具有3層或3層以上的階層型神經(jīng)網(wǎng)絡(luò)。上、下層之間各神經(jīng)元實(shí)現(xiàn)全連接，即下層的每一個神經(jīng)元與上層的每一個神經(jīng)元都實(shí)現(xiàn)權(quán)連接，而每一層各神經(jīng)元之間無連接。
網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值從輸入層經(jīng)各隱含層向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。
在這之后，按減小期望輸出與實(shí)際輸出的誤差的方向，從輸入層經(jīng)各隱含層逐層修正各連接權(quán)，最后回到輸入層，故得名“誤差逆?zhèn)鞑W(xué)習(xí)算法”。
隨著這種誤差逆?zhèn)鞑バ拚牟粩噙M(jìn)行，網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷提高。
BP網(wǎng)絡(luò)主要應(yīng)用于以下幾個方面：1)函數(shù)逼近：用輸入模式與相應(yīng)的期望輸出模式學(xué)習(xí)一個網(wǎng)絡(luò)逼近一個函數(shù)；2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯(lián)系起來；3)分類：把輸入模式以所定義的合適方式進(jìn)行分類；4)數(shù)據(jù)壓縮：減少輸出矢量的維數(shù)以便于傳輸或存儲。
在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。
二、BP模型原理下面以三層BP網(wǎng)絡(luò)為例，說明學(xué)習(xí)和應(yīng)用的原理。
1.數(shù)據(jù)定義P對學(xué)習(xí)模式(xp，dp)，p=1，2，…，P；輸入模式矩陣X[N][P]=(x1，x2，…，xP)；目標(biāo)模式矩陣d[M][P]=(d1，d2，…，dP)。
三層BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)S0=N，i=1，2，…，S0；隱含層神經(jīng)元節(jié)點(diǎn)數(shù)S1，j=1，2，…，S1；神經(jīng)元激活函數(shù)f1[S1]；權(quán)值矩陣W1[S1][S0]；偏差向量b1[S1]。
輸出層神經(jīng)元節(jié)點(diǎn)數(shù)S2=M，k=1，2，…，S2；神經(jīng)元激活函數(shù)f2[S2]；權(quán)值矩陣W2[S2][S1]；偏差向量b2[S2]。
學(xué)習(xí)參數(shù)目標(biāo)誤差?；初始權(quán)更新值Δ0；最大權(quán)更新值Δmax；權(quán)更新值增大倍數(shù)η+；權(quán)更新值減小倍數(shù)η-。
2.誤差函數(shù)定義對第p個輸入模式的誤差的計算公式為中國礦產(chǎn)資源評價新技術(shù)與評價新模型y2kp為BP網(wǎng)的計算輸出。
3.BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)的指導(dǎo)思想是，對網(wǎng)絡(luò)的權(quán)值W、偏差b修正，使誤差函數(shù)沿負(fù)梯度方向下降，直到網(wǎng)絡(luò)輸出誤差精度達(dá)到目標(biāo)精度要求，學(xué)習(xí)結(jié)束。
各層輸出計算公式輸入層y0i=xi，i=1，2，…，S0；隱含層中國礦產(chǎn)資源評價新技術(shù)與評價新模型y1j=f1(z1j)，j=1，2，…，S1；輸出層中國礦產(chǎn)資源評價新技術(shù)與評價新模型y2k=f2(z2k)，k=1，2，…，S2。
輸出節(jié)點(diǎn)的誤差公式中國礦產(chǎn)資源評價新技術(shù)與評價新模型對輸出層節(jié)點(diǎn)的梯度公式推導(dǎo)中國礦產(chǎn)資源評價新技術(shù)與評價新模型E是多個y2m的函數(shù)，但只有一個y2k與wkj有關(guān)，各y2m間相互獨(dú)立。
其中中國礦產(chǎn)資源評價新技術(shù)與評價新模型則中國礦產(chǎn)資源評價新技術(shù)與評價新模型設(shè)輸出層節(jié)點(diǎn)誤差為δ2k=(dk-y2k)·f2′(z2k)，則中國礦產(chǎn)資源評價新技術(shù)與評價新模型同理可得中國礦產(chǎn)資源評價新技術(shù)與評價新模型對隱含層節(jié)點(diǎn)的梯度公式推導(dǎo)中國礦產(chǎn)資源評價新技術(shù)與評價新模型E是多個y2k的函數(shù)，針對某一個w1ji，對應(yīng)一個y1j，它與所有的y2k有關(guān)。
因此，上式只存在對k的求和，其中中國礦產(chǎn)資源評價新技術(shù)與評價新模型則中國礦產(chǎn)資源評價新技術(shù)與評價新模型設(shè)隱含層節(jié)點(diǎn)誤差為中國礦產(chǎn)資源評價新技術(shù)與評價新模型則中國礦產(chǎn)資源評價新技術(shù)與評價新模型同理可得中國礦產(chǎn)資源評價新技術(shù)與評價新模型4.采用彈性BP算法(RPROP)計算權(quán)值W、偏差b的修正值ΔW，Δb1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——彈性BP算法(RPROP)。
這種方法試圖消除梯度的大小對權(quán)步的有害影響，因此，只有梯度的符號被認(rèn)為表示權(quán)更新的方向。
權(quán)改變的大小僅僅由權(quán)專門的“更新值” 確定中國礦產(chǎn)資源評價新技術(shù)與評價新模型其中 表示在模式集的所有模式(批學(xué)習(xí))上求和的梯度信息，(t)表示t時刻或第t次學(xué)習(xí)。
權(quán)更新遵循規(guī)則：如果導(dǎo)數(shù)是正(增加誤差)，這個權(quán)由它的更新值減少。如果導(dǎo)數(shù)是負(fù)，更新值增加。中國礦產(chǎn)資源評價新技術(shù)與評價新模型RPROP算法是根據(jù)局部梯度信息實(shí)現(xiàn)權(quán)步的直接修改。
對于每個權(quán)，我們引入它的各自的更新值 ，它獨(dú)自確定權(quán)更新值的大小。
這是基于符號相關(guān)的自適應(yīng)過程，它基于在誤差函數(shù)E上的局部梯度信息，按照以下的學(xué)習(xí)規(guī)則更新中國礦產(chǎn)資源評價新技術(shù)與評價新模型其中0＜η-＜1＜η+。
在每個時刻，如果目標(biāo)函數(shù)的梯度改變它的符號，它表示最后的更新太大，更新值 應(yīng)由權(quán)更新值減小倍數(shù)因子η-得到減少；如果目標(biāo)函數(shù)的梯度保持它的符號，更新值應(yīng)由權(quán)更新值增大倍數(shù)因子η+得到增大。
為了減少自由地可調(diào)參數(shù)的數(shù)目，增大倍數(shù)因子η+和減小倍數(shù)因子η–被設(shè)置到固定值η+=1.2，η-=0.5，這兩個值在大量的實(shí)踐中得到了很好的效果。
RPROP算法采用了兩個參數(shù)：初始權(quán)更新值Δ0和最大權(quán)更新值Δmax當(dāng)學(xué)習(xí)開始時，所有的更新值被設(shè)置為初始值Δ0，因?yàn)樗苯哟_定了前面權(quán)步的大小，它應(yīng)該按照權(quán)自身的初值進(jìn)行選擇，例如，Δ0=0.1(默認(rèn)設(shè)置)。
為了使權(quán)不至于變得太大，設(shè)置最大權(quán)更新值限制Δmax，默認(rèn)上界設(shè)置為Δmax=50.0。在很多實(shí)驗(yàn)中，發(fā)現(xiàn)通過設(shè)置最大權(quán)更新值Δmax到相當(dāng)小的值，例如Δmax=1.0。
我們可能達(dá)到誤差減小的平滑性能。5.計算修正權(quán)值W、偏差b第t次學(xué)習(xí)，權(quán)值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t為學(xué)習(xí)次數(shù)。
6.BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束條件每次學(xué)習(xí)累積誤差平方和中國礦產(chǎn)資源評價新技術(shù)與評價新模型每次學(xué)習(xí)平均誤差中國礦產(chǎn)資源評價新技術(shù)與評價新模型當(dāng)平均誤差MSE＜ε，BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束。
7.BP網(wǎng)絡(luò)應(yīng)用預(yù)測在應(yīng)用BP網(wǎng)絡(luò)時，提供網(wǎng)絡(luò)輸入給輸入層，應(yīng)用給定的BP網(wǎng)絡(luò)及BP網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)值W、偏差b，網(wǎng)絡(luò)輸入經(jīng)過從輸入層經(jīng)各隱含層向輸出層的“順傳播”過程，計算出BP網(wǎng)的預(yù)測輸出。
8.神經(jīng)元激活函數(shù)f線性函數(shù)f(x)=x，f′(x)=1，f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。一般用于輸出層，可使網(wǎng)絡(luò)輸出任何值。
S型函數(shù)S(x)中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0， ]。
一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網(wǎng)絡(luò)輸出，對較大的輸入，放大系數(shù)較小；而對較小的輸入，放大系數(shù)較大，所以可用來處理和逼近非線性的輸入/輸出關(guān)系。
在用于模式識別時，可用于輸出層，產(chǎn)生逼近于0或1的二值輸出。雙曲正切S型函數(shù)中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。
f′(x)=1-f(x)·f(x)，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。
一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網(wǎng)絡(luò)輸出，對較大的輸入，放大系數(shù)較小；而對較小的輸入，放大系數(shù)較大，所以可用來處理和逼近非線性的輸入/輸出關(guān)系。
階梯函數(shù)類型1中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。f′(x)=0。
類型2中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。f′(x)=0。
斜坡函數(shù)類型1中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。中國礦產(chǎn)資源評價新技術(shù)與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
類型2中國礦產(chǎn)資源評價新技術(shù)與評價新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。中國礦產(chǎn)資源評價新技術(shù)與評價新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
三、總體算法1.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b初始化總體算法(1)輸入?yún)?shù)X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)計算輸入模式X[N][P]各個變量的最大值，最小值矩陣 Xmax[N]，Xmin[N]；(3)隱含層的權(quán)值W1，偏差b1初始化。
情形1：隱含層激活函數(shù)f( )都是雙曲正切S型函數(shù)1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權(quán)值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9))輸出W1[S1][S0]，b1[S1]。
情形2：隱含層激活函數(shù)f( )都是S型函數(shù)1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權(quán)值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。
情形3：隱含層激活函數(shù)f( )為其他函數(shù)的情形1)計算輸入模式X[N][P]的每個變量的范圍向量Xrng[N]；2)計算輸入模式X的每個變量的范圍均值向量Xmid[N]；3)計算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計算W[S1][S0]，b[S1]；7)計算隱含層的初始化權(quán)值W1[S1][S0]；8)計算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。
(4)輸出層的權(quán)值W2，偏差b2初始化1)產(chǎn)生[-1，1]之間均勻分布的S2×S1維隨機(jī)數(shù)矩陣W2[S2][S1]；2)產(chǎn)生[-1，1]之間均勻分布的S2×1維隨機(jī)數(shù)矩陣b2[S2]；3)輸出W2[S2][S1]，b2[S2]。
2.應(yīng)用彈性BP算法(RPROP)學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b總體算法函數(shù)：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)輸入?yún)?shù)P對模式(xp，dp)，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)參數(shù)。
(2)學(xué)習(xí)初始化1) ；2)各層W，b的梯度值 ， 初始化為零矩陣。
(3)由輸入模式X求第一次學(xué)習(xí)各層輸出y0，y1，y2及第一次學(xué)習(xí)平均誤差MSE(4)進(jìn)入學(xué)習(xí)循環(huán)epoch=1(5)判斷每次學(xué)習(xí)誤差是否達(dá)到目標(biāo)誤差要求如果MSE＜?，則，跳出epoch循環(huán)，轉(zhuǎn)到(12)。
(6)保存第epoch-1次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， (7)求第epoch次學(xué)習(xí)各層W，b的梯度值 ， 1)求各層誤差反向傳播值δ；2)求第p次各層W，b的梯度值 ， ；3)求p=1，2，…，P次模式產(chǎn)生的W，b的梯度值 ， 的累加。
(8)如果epoch=1，則將第epoch-1次學(xué)習(xí)的各層W，b的梯度值 ， 設(shè)為第epoch次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， 。
(9)求各層W，b的更新1)求權(quán)更新值Δij更新；2)求W，b的權(quán)更新值 ， ；3)求第epoch次學(xué)習(xí)修正后的各層W，b。
(10)用修正后各層W、b，由X求第epoch次學(xué)習(xí)各層輸出y0，y1，y2及第epoch次學(xué)習(xí)誤差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，轉(zhuǎn)到(5)；否則，轉(zhuǎn)到(12)。
(12)輸出處理1)如果MSE＜ε，則學(xué)習(xí)達(dá)到目標(biāo)誤差要求，輸出W1，b1，W2，b2。2)如果MSE≥ε，則學(xué)習(xí)沒有達(dá)到目標(biāo)誤差要求，再次學(xué)習(xí)。
(13)結(jié)束3.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測總體算法首先應(yīng)用Train3lBP_RPROP( )學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b，然后應(yīng)用三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測。
函數(shù)：Simu3lBP( )。1)輸入?yún)?shù)：P個需預(yù)測的輸入數(shù)據(jù)向量xp，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)得到的各層權(quán)值W、偏差b。
2)計算P個需預(yù)測的輸入數(shù)據(jù)向量xp(p=1，2，…，P)的網(wǎng)絡(luò)輸出 y2[S2][P]，輸出預(yù)測結(jié)果y2[S2][P]。四、總體算法流程圖BP網(wǎng)絡(luò)總體算法流程圖見附圖2。
五、數(shù)據(jù)流圖BP網(wǎng)數(shù)據(jù)流圖見附圖1。
六、實(shí)例實(shí)例一 全國銅礦化探異常數(shù)據(jù)BP 模型分類1.全國銅礦化探異常數(shù)據(jù)準(zhǔn)備在全國銅礦化探數(shù)據(jù)上用穩(wěn)健統(tǒng)計學(xué)方法選取銅異常下限值33.1，生成全國銅礦化探異常數(shù)據(jù)。
2.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國銅礦化探異常數(shù)據(jù)，選取7類33個礦點(diǎn)的化探數(shù)據(jù)作為模型數(shù)據(jù)。
這7類分別是巖漿巖型銅礦、斑巖型銅礦、矽卡巖型、海相火山型銅礦、陸相火山型銅礦、受變質(zhì)型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。3.測試數(shù)據(jù)準(zhǔn)備全國化探數(shù)據(jù)作為測試數(shù)據(jù)集。
4.BP網(wǎng)絡(luò)結(jié)構(gòu)隱層數(shù)2，輸入層到輸出層向量維數(shù)分別為14，9、5、1。學(xué)習(xí)率設(shè)置為0.9，系統(tǒng)誤差1e-5。沒有動量項(xiàng)。表8-1 模型數(shù)據(jù)表續(xù)表5.計算結(jié)果圖如圖8-2、圖8-3。
圖8-2圖8-3 全國銅礦礦床類型BP模型分類示意圖實(shí)例二 全國金礦礦石量品位數(shù)據(jù)BP 模型分類1.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國金礦儲量品位數(shù)據(jù)，選取4類34個礦床數(shù)據(jù)作為模型數(shù)據(jù)，這4類分別是綠巖型金礦、與中酸性浸入巖有關(guān)的熱液型金礦、微細(xì)浸染型型金礦、火山熱液型金礦(表8-2)。
2.測試數(shù)據(jù)準(zhǔn)備模型樣本點(diǎn)和部分金礦點(diǎn)金屬量、礦石量、品位數(shù)據(jù)作為測試數(shù)據(jù)集。3.BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學(xué)習(xí)率設(shè)置為0.8，系統(tǒng)誤差1e-4，迭代次數(shù)5000。
表8-2 模型數(shù)據(jù)4.計算結(jié)果結(jié)果見表8-3、8-4。表8-3 訓(xùn)練學(xué)習(xí)結(jié)果表8-4 預(yù)測結(jié)果(部分)續(xù)表。
神經(jīng)網(wǎng)絡(luò)算法原理
4.2.1 概述人工神經(jīng)網(wǎng)絡(luò)的研究與計算機(jī)的研究幾乎是同步發(fā)展的。
1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型，20世紀(jì)50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數(shù)的概念提出了神經(jīng)網(wǎng)絡(luò)的一種數(shù)學(xué)模型，1986年，Rumelhart及LeCun等學(xué)者提出了多層感知器的反向傳播算法等。
神經(jīng)網(wǎng)絡(luò)技術(shù)在眾多研究者的努力下，理論上日趨完善，算法種類不斷增加。目前，有關(guān)神經(jīng)網(wǎng)絡(luò)的理論研究成果很多，出版了不少有關(guān)基礎(chǔ)理論的著作，并且現(xiàn)在仍是全球非線性科學(xué)研究的熱點(diǎn)之一。
神經(jīng)網(wǎng)絡(luò)是一種通過模擬人的大腦神經(jīng)結(jié)構(gòu)去實(shí)現(xiàn)人腦智能活動功能的信息處理系統(tǒng)，它具有人腦的基本功能，但又不是人腦的真實(shí)寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經(jīng)網(wǎng)絡(luò)（邊肇祺，2000）。
人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)，是神經(jīng)網(wǎng)絡(luò)的最重要組成部分之一。目前，有關(guān)神經(jīng)元的模型種類繁多，最常用最簡單的模型是由閾值函數(shù)、Sigmoid 函數(shù)構(gòu)成的模型（圖 4-3）。
圖4-3 人工神經(jīng)元與兩種常見的輸出函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及識別方法最初是借鑒人腦神經(jīng)元的學(xué)習(xí)識別過程提出的。
輸入?yún)?shù)好比神經(jīng)元接收信號，通過一定的權(quán)值（相當(dāng)于刺激神經(jīng)興奮的強(qiáng)度）與神經(jīng)元相連，這一過程有些類似于多元線性回歸，但模擬的非線性特征是通過下一步驟體現(xiàn)的，即通過設(shè)定一閾值（神經(jīng)元興奮極限）來確定神經(jīng)元的興奮模式，經(jīng)輸出運(yùn)算得到輸出結(jié)果。
經(jīng)過大量樣本進(jìn)入網(wǎng)絡(luò)系統(tǒng)學(xué)習(xí)訓(xùn)練之后，連接輸入信號與神經(jīng)元之間的權(quán)值達(dá)到穩(wěn)定并可最大限度地符合已經(jīng)經(jīng)過訓(xùn)練的學(xué)習(xí)樣本。
在被確認(rèn)網(wǎng)絡(luò)結(jié)構(gòu)的合理性和學(xué)習(xí)效果的高精度之后，將待預(yù)測樣本輸入?yún)?shù)代入網(wǎng)絡(luò)，達(dá)到參數(shù)預(yù)測的目的。
4.2.2 反向傳播算法（BP法）發(fā)展到目前為止，神經(jīng)網(wǎng)絡(luò)模型不下十幾種，如前饋神經(jīng)網(wǎng)絡(luò)、感知器、Hopfiled 網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、反向傳播算法（BP法）等，但在儲層參數(shù)反演方面，目前比較成熟比較流行的網(wǎng)絡(luò)類型是誤差反向傳播神經(jīng)網(wǎng)絡(luò)（BP-ANN）。
BP網(wǎng)絡(luò)是在前饋神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來的，始終有一個輸入層（它包含的節(jié)點(diǎn)對應(yīng)于每個輸入變量）和一個輸出層（它包含的節(jié)點(diǎn)對應(yīng)于每個輸出值），以及至少有一個具有任意節(jié)點(diǎn)數(shù)的隱含層（又稱中間層）。
在 BP-ANN中，相鄰層的節(jié)點(diǎn)通過一個任意初始權(quán)值全部相連，但同一層內(nèi)各節(jié)點(diǎn)間互不相連。
對于 BP-ANN，隱含層和輸出層節(jié)點(diǎn)的基函數(shù)必須是連續(xù)的、單調(diào)遞增的，當(dāng)輸入趨于正或負(fù)無窮大時，它應(yīng)該接近于某一固定值，也就是說，基函數(shù)為“S”型（Kosko，1992）。
BP-ANN 的訓(xùn)練是一個監(jiān)督學(xué)習(xí)過程，涉及兩個數(shù)據(jù)集，即訓(xùn)練數(shù)據(jù)集和監(jiān)督數(shù)據(jù)集。
給網(wǎng)絡(luò)的輸入層提供一組輸入信息，使其通過網(wǎng)絡(luò)而在輸出層上產(chǎn)生逼近期望輸出的過程，稱之為網(wǎng)絡(luò)的學(xué)習(xí)，或稱對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)這一步驟的方法則稱為學(xué)習(xí)算法。
BP網(wǎng)絡(luò)的學(xué)習(xí)過程包括兩個階段：第一個階段是正向過程，將輸入變量通過輸入層經(jīng)隱層逐層計算各單元的輸出值；第二階段是反向傳播過程，由輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值。
誤差信息通過網(wǎng)絡(luò)反向傳播，遵循誤差逐步降低的原則來調(diào)整權(quán)值，直到達(dá)到滿意的輸出為止。
網(wǎng)絡(luò)經(jīng)過學(xué)習(xí)以后，一組合適的、穩(wěn)定的權(quán)值連接權(quán)被固定下來，將待預(yù)測樣本作為輸入層參數(shù)，網(wǎng)絡(luò)經(jīng)過向前傳播便可以得到輸出結(jié)果，這就是網(wǎng)絡(luò)的預(yù)測。
反向傳播算法主要步驟如下：首先選定權(quán)系數(shù)初始值，然后重復(fù)下述過程直至收斂（對各樣本依次計算）。
（1）從前向后各層計算各單元Oj儲層特征研究與預(yù)測（2）對輸出層計算δj儲層特征研究與預(yù)測（3）從后向前計算各隱層δj儲層特征研究與預(yù)測（4）計算并保存各權(quán)值修正量儲層特征研究與預(yù)測（5）修正權(quán)值儲層特征研究與預(yù)測以上算法是對每個樣本作權(quán)值修正，也可以對各個樣本計算δj后求和，按總誤差修正權(quán)值。
什么是神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個是生物神經(jīng)網(wǎng)絡(luò)，一個是人工神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)：一般指生物的大腦神經(jīng)元，細(xì)胞，觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動。
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。
這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。
在工程與學(xué)術(shù)界也常直接簡稱為“神經(jīng)網(wǎng)絡(luò)”或類神經(jīng)網(wǎng)絡(luò)。
?
總結(jié)
以上是生活随笔為你收集整理的神经网络算法有哪些模型,常用的神经网络模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
