? ? ? 在上一篇文章中，介紹了BP神經(jīng)網(wǎng)絡(luò)的基本模型、模型中的一些術(shù)語并對模型進(jìn)行了數(shù)學(xué)上的分析，對它的原理有了初步的認(rèn)識。那么如何用程序語言來具體的實現(xiàn)它，將是我們下一步需要討論的問題。本文選取的是C語言來實現(xiàn)一個簡單的單隱藏層的BP神經(jīng)網(wǎng)絡(luò)（默認(rèn)大家了解了BP神經(jīng)網(wǎng)絡(luò)的基本概念，本文中涉及到些術(shù)語參見上一篇 ?基本模型?），因此對于其他C類語言（C#、JAVA等）只需對本文中的代碼稍作修改即可移植。

?

一些數(shù)據(jù)的定義

?? 首先，我們介紹些下文中描述的程序里面的一些重要數(shù)據(jù)的定義。

#define Data 820 #define In 2 #define Out 1 #define Neuron 45 #define TrainC 5500

? ? ? Data 用來表示已經(jīng)知道的數(shù)據(jù)樣本的數(shù)量，也就是訓(xùn)練樣本的數(shù)量。In 表示對于每個樣本有多少個輸入變量; Out 表示對于每個樣本有多少個輸出變量。Neuron 表示神經(jīng)元的數(shù)量，TrainC 來表示訓(xùn)練的次數(shù)。再來我們看對神經(jīng)網(wǎng)絡(luò)描述的數(shù)據(jù)定義，來看下面這張圖里面的數(shù)據(jù)類型都是 double 型。

?

圖1

? ? ? d_in[Data][In] 存儲 Data 個樣本，每個樣本的 In 個輸入。d_out[Data][Out] 存儲 Data 個樣本，每個樣本的 Out 個輸出。我們用鄰接表法來表示 圖1 中的網(wǎng)絡(luò)，w[Neuron][In] ?表示某個輸入對某個神經(jīng)元的權(quán)重，v[Out][Neuron] 來表示某個神經(jīng)元對某個輸出的權(quán)重；與之對應(yīng)的保存它們兩個修正量的數(shù)組 dw[Neuron][In] 和 dv[Out][Neuron]。數(shù)組 o[Neuron] 記錄的是神經(jīng)元通過激活函數(shù)對外的輸出，OutputData[Out] ?存儲BP神經(jīng)網(wǎng)絡(luò)的輸出。

?

程序的執(zhí)行過程

???????? 在這里，先不考慮具體函數(shù)的執(zhí)行細(xì)節(jié)，從大體上來介紹程序的執(zhí)行過程。用偽代碼來表示，具體的內(nèi)容后面一步步介紹，如下：

主函數(shù)main{讀取樣本數(shù)據(jù) readData()；初始化BP神經(jīng)網(wǎng)絡(luò) initBPNework(){包括數(shù)據(jù)的歸一，神經(jīng)元的初始化 w[Neuron][In]、v[Out][Neuron]等；}BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練 trainNetwork(){do{for（i 小于 樣本容量 Data）{計算按照第 i 個樣本輸入，產(chǎn)生的BP神經(jīng)網(wǎng)絡(luò)的輸出 computO(i)；累記誤差精度；反饋調(diào)節(jié)BP神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，完成第 i 個樣本的學(xué)習(xí) backUpdate(i)；}}while（達(dá)到訓(xùn)練次數(shù) 或者 符合誤差精度）；}存儲訓(xùn)練好的神經(jīng)元信息 writeNeuron()；用一些數(shù)據(jù)來測試，訓(xùn)練出來的BP神經(jīng)網(wǎng)絡(luò)的結(jié)果；return 0； }

? ? ? ?以上是處理的流程，對于讀取數(shù)據(jù)、保存數(shù)據(jù)之類的處理本文將略去這方面內(nèi)容，突出主干部分。

?

初始化BP神經(jīng)網(wǎng)絡(luò)

? ? ? 初始化主要是涉及兩個方面的功能，一方面是對讀取的訓(xùn)練樣本數(shù)據(jù)進(jìn)行歸一化處理，歸一化處理就是指的就是將數(shù)據(jù)轉(zhuǎn)換成0~1之間。在BP神經(jīng)網(wǎng)絡(luò)理論里面，并沒有對這個進(jìn)行要求，不過實際實踐過程中，歸一化處理是不可或缺的。因為理論模型沒考慮到，BP神經(jīng)網(wǎng)絡(luò)收斂的速率問題，一般來說神經(jīng)元的輸出對于0~1之間的數(shù)據(jù)非常敏感，歸一化能夠顯著提高訓(xùn)練效率。可以用以下公式來對其進(jìn)行歸一化，其中 加個常數(shù)A 是為了防止出現(xiàn) 0 的情況（0不能為分母）。

? ? ? ?y=(x-MinValue+A)/(MaxValue-MinValue+A)

? ? ? 另一方面，就是對神經(jīng)元的權(quán)重進(jìn)行初始化了，數(shù)據(jù)歸一到了（0~1）之間，那么權(quán)重初始化為（-1~1）之間的數(shù)據(jù)，另外對修正量賦值為0。實現(xiàn)參考代碼如下：

void initBPNework(){int i,j;/*找到數(shù)據(jù)最小、最大值*/for(i=0; i<In; i++){Minin[i]=Maxin[i]=d_in[0][i];for(j=0; j<Data; j++){Maxin[i]=Maxin[i]>d_in[j][i]?Maxin[i]:d_in[j][i];Minin[i]=Minin[i]<d_in[j][i]?Minin[i]:d_in[j][i];}}for(i=0; i<Out; i++){Minout[i]=Maxout[i]=d_out[0][i];for(j=0; j<Data; j++){Maxout[i]=Maxout[i]>d_out[j][i]?Maxout[i]:d_out[j][i];Minout[i]=Minout[i]<d_out[j][i]?Minout[i]:d_out[j][i];}}/*歸一化處理*/for (i = 0; i < In; i++)for(j = 0; j < Data; j++)d_in[j][i]=(d_in[j][i]-Minin[i]+1)/(Maxin[i]-Minin[i]+1);for (i = 0; i < Out; i++)for(j = 0; j < Data; j++)d_out[j][i]=(d_out[j][i]-Minout[i]+1)/(Maxout[i]-Minout[i]+1);/*初始化神經(jīng)元*/for (i = 0; i < Neuron; ++i) for (j = 0; j < In; ++j){ w[i][j]=(rand()*2.0/RAND_MAX-1)/2;dw[i][j]=0;}for (i = 0; i < Neuron; ++i) for (j = 0; j < Out; ++j){v[j][i]=(rand()*2.0/RAND_MAX-1)/2;dv[j][i]=0;} }

?

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

? ? ? 這部分應(yīng)當(dāng)說是整個BP神經(jīng)網(wǎng)絡(luò)形成的引擎，驅(qū)動著樣本訓(xùn)練過程的執(zhí)行。由BP神經(jīng)網(wǎng)絡(luò)的基本模型知道，反饋學(xué)習(xí)機制包括兩大部分，一是BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生預(yù)測的結(jié)果，二是通過預(yù)測的結(jié)果和樣本的準(zhǔn)確結(jié)果進(jìn)行比對，然后對神經(jīng)元進(jìn)行誤差量的修正。因此，我們用兩個函數(shù)來表示這樣的兩個過程，訓(xùn)練過程中還對平均誤差 e 進(jìn)行監(jiān)控，如果達(dá)到了設(shè)定的精度即可完成訓(xùn)練。由于不一定能夠到達(dá)預(yù)期設(shè)定的精度要求，我們添加一個訓(xùn)練次數(shù)的參數(shù)，如果次數(shù)達(dá)到也退出訓(xùn)練。實現(xiàn)參考代碼如下：

?

void trainNetwork(){int i,c=0;do{e=0;for (i = 0; i < Data; ++i){computO(i);e+=fabs((OutputData[0]-d_out[i][0])/d_out[i][0]);backUpdate(i);}//printf("%d %lf\n",c,e/Data);c++;}while(c<TrainC && e/Data>0.01); }

?

??????? 其中的函數(shù)，computO(i) （O是output縮寫）計算BP神經(jīng)網(wǎng)絡(luò)預(yù)測第 i 個樣本的輸出也就是第一個過程。backUpdate(i) 是根據(jù)預(yù)測的第 i 個樣本輸出對神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行更新，e用來監(jiān)控誤差。

　　 ?到這里，我們整體回顧來看，BP神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)的骨架已經(jīng)介紹完了，訓(xùn)練過程中核心的兩個函數(shù)computO(i) 和 backUpdate(i) 的實現(xiàn)在下一篇再來分析，晚安。

C語言實現(xiàn)上?中介紹了程序?qū)崿F(xiàn)時定義的一些數(shù)據(jù)結(jié)構(gòu)、程序執(zhí)行的流程以及 程序的基本骨架（詳情見 C語言實現(xiàn)上）。留下了兩個關(guān)鍵函數(shù)computO(i) 和 backUpdate(i) 沒有分析實現(xiàn)，參數(shù) i 代表的是第 i 個樣本，本篇我們一起來分析下這兩個函數(shù)的實現(xiàn)。

BP神經(jīng)網(wǎng)絡(luò)輸出

? ? ? 函數(shù) computO(i) 負(fù)責(zé)的是通過BP神經(jīng)網(wǎng)絡(luò)的機制對樣本 i 的輸入，預(yù)測其輸出。回想BP神經(jīng)網(wǎng)絡(luò)的基本模型（詳情見 基本模型）對應(yīng)的公式（1）還有 激活函數(shù)對應(yīng)的公式（2）：

? ??

??????

? ? ? 在前篇設(shè)計的BP神經(jīng)網(wǎng)絡(luò)中，輸入層與隱藏層權(quán)重對應(yīng)的數(shù)據(jù)結(jié)構(gòu)是w[Neuron][In]，隱藏層與輸出層權(quán)重對應(yīng)的數(shù)據(jù)結(jié)構(gòu)是v[Out][Neuron]，并且數(shù)組 o[Neuron] 記錄的是神經(jīng)元通過激活函數(shù)對外的輸出，BP神經(jīng)網(wǎng)絡(luò)預(yù)測的樣本結(jié)果保存在OutputData[Out]中。由此，就可以得到以下實現(xiàn)的參考代碼：

void computO(int var){int i,j;double sum,y;/*神經(jīng)元輸出*/for (i = 0; i < Neuron; ++i){sum=0;for (j = 0; j < In; ++j)sum+=w[i][j]*d_in[var][j];o[i]=1/(1+exp(-1*sum));}/* 隱藏層到輸出層輸出 */for (i = 0; i < Out; ++i){sum=0;for (j = 0; j < Neuron; ++j)sum+=v[i][j]*o[j];OutputData[i]=sum;} }

?

BP神經(jīng)網(wǎng)絡(luò)的反饋學(xué)習(xí)

???????? 函數(shù) backUpdate(i) 負(fù)責(zé)的是將預(yù)測輸出的結(jié)果與樣本真實的結(jié)果進(jìn)行比對，然后對神經(jīng)網(wǎng)絡(luò)中涉及到的權(quán)重進(jìn)行修正，也這是BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)的關(guān)鍵所在。如何求到對于 w[Neuron][In] 和 v[Out][Neuron] 進(jìn)行修正的誤差量便是關(guān)鍵所在！誤差修正量的求法在基本模型一文中數(shù)學(xué)分析部分有解答，具體問題具體分析，落實到我們設(shè)計的這個BP神經(jīng)網(wǎng)絡(luò)上來說，需要得到的是對w[Neuron][In] 和 v[Out][Neuron] 兩個數(shù)據(jù)進(jìn)行修正誤差，誤差量用數(shù)據(jù)結(jié)構(gòu) dw[Neuron][In] ?和 ?dv[Out][Neuron]? 來進(jìn)行存儲。那么來分析下這兩個修正誤差量是什么樣的？推導(dǎo)的思路與基本模型中推導(dǎo)誤差量的一致，這里僅列出對具體對于我們設(shè)計的BP神經(jīng)網(wǎng)絡(luò)中的數(shù)學(xué)推導(dǎo)過程：

???

? ? ? 如果你不想知道推導(dǎo)過程，那么只需要看上面中的兩個 所以（有三個點的地方） 的內(nèi)容，就可以知道所需要的誤差量是什么樣的了；如果想要想弄明白的話，或許需要自己在稿子上畫畫看推導(dǎo)推導(dǎo)。到這里完成了數(shù)學(xué)推導(dǎo)，實現(xiàn)的代碼就很容易寫了。在具體實現(xiàn)對誤差修改中，我們再加上學(xué)習(xí)率，并且對先前學(xué)習(xí)到的修正誤差量進(jìn)行繼承，直白的說就是都乘上一個0到1之間的數(shù)，具體的見如下實現(xiàn)參考代碼：

#define A 0.2 #define B 0.4 #define a 0.2 #define b 0.3 void backUpdate(int var) {int i,j;double t;for (i = 0; i < Neuron; ++i){t=0;for (j = 0; j < Out; ++j){t+=(OutputData[j]-d_out[var][j])*v[j][i];dv[j][i]=A*dv[j][i]+B*(OutputData[j]-d_out[var][j])*o[i];v[j][i]-=dv[j][i];}for (j = 0; j < In; ++j){dw[i][j]=a*dw[i][j]+b*t*o[i]*(1-o[i])*d_in[var][j];w[i][j]-=dw[i][j];}} }

　　

? ? ? ?好了，至此BP神經(jīng)網(wǎng)絡(luò)的C語言實現(xiàn)就全部完成了。最后，我們可以測試下BP神經(jīng)網(wǎng)絡(luò)的運行。我這里是這樣給出數(shù)據(jù)的，兩個輸入a、b（10以內(nèi)的數(shù)），一個輸出 c，c=a+b。換句話說就是教BP神經(jīng)網(wǎng)絡(luò)加法運算。在 45個神經(jīng)元，820個訓(xùn)練樣例，樣本平均誤差小于0.01時完成訓(xùn)練（學(xué)習(xí)率等見參考代碼）的條件下，最后預(yù)測 (6,8)，(2.1,7),(4.3,8）實際輸出結(jié)果如下：

　　 ? ?最后附上參考實現(xiàn)代碼，以及實驗訓(xùn)練時的數(shù)據(jù)、和神經(jīng)元信息。（本示例 僅為BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)的 簡單DEMO，若實際使用還需多加考慮！！！）

　　參考代碼下載

總結(jié)

以上是生活随笔為你收集整理的BP神经网络-- C语言实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。