BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是前連接神經(jīng)網(wǎng)絡(luò)中的一種，BP指的是訓(xùn)練方法是誤差反向傳播Backpropagation，要求激活函數(shù)是可導(dǎo)的。

數(shù)據(jù)歸一化

• 什么是歸一化？

  將數(shù)據(jù)映射到[0, 1]或[-1, 1]區(qū)間或其他的區(qū)間

• 為什么要?dú)w一化？
  輸入數(shù)據(jù)的單位不一樣，有些數(shù)據(jù)的范圍可能特別大，導(dǎo)致的結(jié)果是神經(jīng)網(wǎng)絡(luò)收斂慢、訓(xùn)練時(shí)間長(zhǎng)。

  數(shù)據(jù)范圍大的輸入在模式分類中的作用可能會(huì)偏大，而數(shù)據(jù)范圍小的輸入作用就可能會(huì)偏小。

  由于神經(jīng)網(wǎng)絡(luò)輸出層的激活函數(shù)的值域是有限制的，因此需要將網(wǎng)絡(luò)訓(xùn)練的目標(biāo)數(shù)據(jù)映射到激活函數(shù)的值域。例如神經(jīng)網(wǎng)絡(luò)的輸出層若采用S形激活 函數(shù)，由于S形函數(shù)的值域限制在(0,1)，也就是說(shuō)神經(jīng)網(wǎng)絡(luò)的輸出只能限制在(0,1)，所以訓(xùn)練數(shù)據(jù)的輸出就要?dú)w一化到[0,1]區(qū)間。

  S形激活函數(shù)在(0,1)區(qū)間以外區(qū)域很平緩，區(qū)分度太小。例如S形函數(shù)f(X)在參數(shù)a=1時(shí)，f(100)與f(5)只相差0.0067。

• 歸一化算法
  

重點(diǎn)函數(shù)介紹

歸一化函數(shù)(mapminmax)

功能：將矩陣的每一行處理成[-1,1]區(qū)間。處理需要?dú)w一化的m*n矩陣X，歸一化后的矩陣記為Y。
主要有5種調(diào)用形式

• 1.[Y,PS] = mapminmax(X,YMIN,YMAX)
  其中，YMIN是我們期望歸一化后矩陣Y每行的最小值，YMAX是我們期望歸一化后矩陣Y每行的最大值。
  例1：待處理矩陣X=[4 5 6;7 8 9]我們期望歸一化后每行的最小值為0，最大值為1.程序如下

X=[4 5 6;7 8 9];mapminmax(X,0,1)

運(yùn)行結(jié)果

• 2.[Y,PS] = mapminmax(X,FP)
  FP是一個(gè)結(jié)構(gòu)體成員，主要是FP.ymin（相當(dāng)于YMIN）, FP.ymax（相當(dāng)于YMAX）。1和2處理效果一樣，只不過(guò)參數(shù)的帶入形式不同。

X=[4 5 6;7 8 9];FP.ymin = 0;FP.ymax = 1;mapminmax(X,FP)

• Y = mapminmax(‘a(chǎn)pply’,X,PS)
  PS是訓(xùn)練樣本的映射，測(cè)試樣本的預(yù)處理方式應(yīng)與訓(xùn)練樣本相同。只需將映射PS apply到測(cè)試樣本。

例3.訓(xùn)練樣本是X，測(cè)試樣本是M，歸一化后的訓(xùn)練樣本是Y

X=[4 5 6;7 8 9];M = [2 3;4 5];[Y,PS] = mapminmax(X,0,1);mapminmax('apply',M,PS)

• X = mapminmax(‘reverse’,Y,PS)

將歸一化后的Y反轉(zhuǎn)為歸一化之前

例4．將n（M的歸一化）反轉(zhuǎn)為M

X=[4 5 6;7 8 9]; M = [2 3;4 5]; [Y,PS] = mapminmax(X,0,1); n = mapminmax('apply',M,PS); mapminmax('reverse',n,PS)

newff (前饋反向傳播網(wǎng)絡(luò))
newff函數(shù)參數(shù)說(shuō)明

net = newff(P,T,S) % 這兩種定義都可以 net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF)

P：輸入?yún)?shù)矩陣。(RxQ1)，其中Q1代表R元的輸入向量。其數(shù)據(jù)意義是矩陣P有Q1列，每一列都是一個(gè)樣本，而每個(gè)樣本有R個(gè)屬性（特征）。一般矩陣P需要?dú)w一化，即P的每一行都?xì)w一化到[0 1]或者[-1 1]。
　　T：目標(biāo)參數(shù)矩陣。(SNxQ2)，Q2代表SN元的目標(biāo)向量。
　　S：N-1個(gè)隱含層的數(shù)目（S（i）到S（N-1）），默認(rèn)為空矩陣[]。輸出層的單元數(shù)目SN取決于T。返回N層的前饋BP神經(jīng)網(wǎng)絡(luò)
　　 TF：相關(guān)層的傳遞函數(shù)，默認(rèn)隱含層為tansig函數(shù)，輸出層為purelin函數(shù)。
　　BTF：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練函數(shù)，默認(rèn)值為trainlm函數(shù)。
　　BLF：權(quán)重學(xué)習(xí)函數(shù)，默認(rèn)值為learngdm。
　　PF：性能函數(shù)，默認(rèn)值為mse，可選擇的還有sse，sae，mae，crossentropy。
　　IPF，OPF，DDF均為默認(rèn)值即可。

2，傳遞函數(shù)TF
　　purelin： 線性傳遞函數(shù)。
　　tansig ：正切S型傳遞函數(shù)。
　　logsig ：對(duì)數(shù)S型傳遞函數(shù)。　
　　隱含層和輸出層函數(shù)的選擇對(duì)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度有較大影響，一般隱含層節(jié)點(diǎn)轉(zhuǎn)移函數(shù)選用 tansig函數(shù)或logsig函數(shù)，輸出層節(jié)點(diǎn)轉(zhuǎn)移函數(shù)選用tansig函數(shù)或purelin函數(shù)。
３，學(xué)習(xí)訓(xùn)練函數(shù)BTF
　　traingd：最速下降BP算法。
　　traingdm：動(dòng)量BP算法。
　　trainda：學(xué)習(xí)率可變的最速下降BP算法。
　　traindx：學(xué)習(xí)率可變的動(dòng)量BP算法。
　　trainrp：彈性算法。
　　變梯度算法：
　　　　traincgf（Fletcher-Reeves修正算法）
　　　　 traincgp（Polak_Ribiere修正算法）
　　　　 traincgb（Powell-Beale復(fù)位算法）
　　　　 trainbfg（BFGS 擬牛頓算法）
　　　　 trainoss（OSS算法）

４，參數(shù)說(shuō)明
　　通過(guò)net.trainParam可以查看參數(shù)
　　 Show Training Window Feedback showWindow: true
　　 Show Command Line Feedback showCommandLine: false
　　 Command Line Frequency show: 兩次顯示之間的訓(xùn)練次數(shù)
　　Maximum Epochs epochs: 訓(xùn)練次數(shù)
　　 Maximum Training Time time: 最長(zhǎng)訓(xùn)練時(shí)間（秒）
　　 Performance Goal goal: 網(wǎng)絡(luò)性能目標(biāo)
　　 Minimum Gradient min_grad: 性能函數(shù)最小梯度
　　 Maximum Validation Checks max_fail: 最大驗(yàn)證失敗次數(shù)
　　 Learning Rate lr: 學(xué)習(xí)速率
　　Learning Rate Increase lr_inc: 學(xué)習(xí)速率增長(zhǎng)值
　　Learning Rate lr_dec: 學(xué)習(xí)速率下降值
　　 Maximum Performance Increase max_perf_inc:
　　 Momentum Constant mc: 動(dòng)量因子

算例實(shí)現(xiàn)

案例背景

第一步：清空環(huán)境變量

%% I. 清空環(huán)境變量 clear all clc

第二步：讀取數(shù)據(jù)

%% II. 訓(xùn)練集/測(cè)試集產(chǎn)生 %% % 1. 導(dǎo)入數(shù)據(jù) load spectra_data.mat

查看數(shù)據(jù)
輸入
輸入數(shù)據(jù)有60個(gè)樣本，每個(gè)樣本401維

plot(NIR')

輸出
輸出數(shù)據(jù)60個(gè)樣本，每個(gè)樣本1維

plot(octane')

第三步：訓(xùn)練集測(cè)試集劃分

%% % 2. 隨機(jī)產(chǎn)生訓(xùn)練集和測(cè)試集 temp = randperm(size(NIR,1));%size(NIR,1)樣本個(gè)數(shù) 表示將樣本順序打亂 % 訓(xùn)練集——50個(gè)樣本 P_train = NIR(temp(1:50),:)';%前50個(gè)輸入樣本作為訓(xùn)練輸入，注意轉(zhuǎn)置 T_train = octane(temp(1:50),:)'; % 測(cè)試集——10個(gè)樣本 P_test = NIR(temp(51:end),:)'; T_test = octane(temp(51:end),:)'; N = size(P_test,2);%N=10

解釋

randperm(5)這個(gè)例子將1～5順序隨機(jī)打亂。
temp = randperm(size(NIR,1)); 表示將樣本順序打亂，產(chǎn)生1-60的隨機(jī)序列
P_train = NIR(temp(1:50)😅 取出前50個(gè)，P代表輸入，有轉(zhuǎn)置符號(hào),matlab里面輸入和輸出必須保證列相同。python里面必須保證行相同。

第四步：歸一化

%% III. 數(shù)據(jù)歸一化 [p_train, ps_input] = mapminmax(P_train,0,1); p_test = mapminmax('apply',P_test,ps_input); %訓(xùn)練集輸出歸一化 [t_train, ps_output] = mapminmax(T_train,0,1);

打印下

plot(p_train(1,:))

輸入50列

輸出50列

第五步：模型搭建

%% IV. BP神經(jīng)網(wǎng)絡(luò)創(chuàng)建、訓(xùn)練及仿真測(cè)試 %% % 1. 創(chuàng)建網(wǎng)絡(luò) net = newff(p_train,t_train,9);%% % 2. 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 1000;%迭代次數(shù) net.trainParam.goal = 1e-3;%訓(xùn)練目標(biāo)mse小于目標(biāo)才會(huì)結(jié)束 net.trainParam.lr = 0.01;%學(xué)習(xí)率%% % 3. 訓(xùn)練網(wǎng)絡(luò) net = train(net,p_train,t_train);

newff 前饋神經(jīng)網(wǎng)絡(luò)
newff(p_train,t_train,9); 參數(shù)：輸入，輸出，隱含神經(jīng)元個(gè)數(shù)
輸入net可查看模型


train神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)

訓(xùn)練運(yùn)行界面

訓(xùn)練運(yùn)行界面點(diǎn)擊performance

訓(xùn)練運(yùn)行界面點(diǎn)擊Training state

訓(xùn)練運(yùn)行界面點(diǎn)擊 Regression 回歸結(jié)果

第六步：仿真測(cè)試
sim:神經(jīng)網(wǎng)絡(luò)仿真函數(shù)

%% % 4. 仿真測(cè)試 t_sim = sim(net,p_test);

第七步：結(jié)果反歸一化

%% % 5. 數(shù)據(jù)反歸一化 T_sim = mapminmax('reverse',t_sim,ps_output);

第八步：性能評(píng)價(jià)

%% V. 性能評(píng)價(jià) %% % 1. 相對(duì)誤差error error = abs(T_sim - T_test)./T_test;%% % 2. 決定系數(shù)R^2 R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); %% % 3. 結(jié)果對(duì)比 result = [T_test' T_sim' error']

第九步：結(jié)果繪圖

%% VI. 繪圖 figure plot(1:N,T_test,'b:*',1:N,T_sim,'r-o') legend('真實(shí)值','預(yù)測(cè)值') xlabel('預(yù)測(cè)樣本') ylabel('辛烷值') string = {'測(cè)試集辛烷值含量預(yù)測(cè)結(jié)果對(duì)比';['R^2=' num2str(R2)]}; title(string)

全文代碼
main.m

%% I. 清空環(huán)境變量 clear all clc%% II. 訓(xùn)練集/測(cè)試集產(chǎn)生 %% % 1. 導(dǎo)入數(shù)據(jù) load spectra_data.mat%% % 2. 隨機(jī)產(chǎn)生訓(xùn)練集和測(cè)試集 temp = randperm(size(NIR,1)); % 訓(xùn)練集——50個(gè)樣本 P_train = NIR(temp(1:50),:)'; T_train = octane(temp(1:50),:)'; % 測(cè)試集——10個(gè)樣本 P_test = NIR(temp(51:end),:)'; T_test = octane(temp(51:end),:)'; N = size(P_test,2);%% III. 數(shù)據(jù)歸一化 [p_train, ps_input] = mapminmax(P_train,0,1); p_test = mapminmax('apply',P_test,ps_input);[t_train, ps_output] = mapminmax(T_train,0,1);%% IV. BP神經(jīng)網(wǎng)絡(luò)創(chuàng)建、訓(xùn)練及仿真測(cè)試 %% % 1. 創(chuàng)建網(wǎng)絡(luò) net = newff(p_train,t_train,9);%% % 2. 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 1000; net.trainParam.goal = 1e-3; net.trainParam.lr = 0.01;%% % 3. 訓(xùn)練網(wǎng)絡(luò) net = train(net,p_train,t_train);%% % 4. 仿真測(cè)試 t_sim = sim(net,p_test);%% % 5. 數(shù)據(jù)反歸一化 T_sim = mapminmax('reverse',t_sim,ps_output);%% V. 性能評(píng)價(jià) %% % 1. 相對(duì)誤差error error = abs(T_sim - T_test)./T_test;%% % 2. 決定系數(shù)R^2 R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); %% % 3. 結(jié)果對(duì)比 result = [T_test' T_sim' error']%% VI. 繪圖 figure plot(1:N,T_test,'b:*',1:N,T_sim,'r-o') legend('真實(shí)值','預(yù)測(cè)值') xlabel('預(yù)測(cè)樣本') ylabel('辛烷值') string = {'測(cè)試集辛烷值含量預(yù)測(cè)結(jié)果對(duì)比';['R^2=' num2str(R2)]}; title(string)

代碼和數(shù)據(jù)百度云

鏈接：https://pan.baidu.com/s/1zf1o-B1FQsV7cXKbz4y4VA 提取碼：srx8 復(fù)制這段內(nèi)容后打開(kāi)百度網(wǎng)盤手機(jī)App，操作更方便哦

MATLAB我還是嫌棄的不行。不喜歡matlab語(yǔ)法，再者尼瑪，提示符都沒(méi)有

matlab BP更多用法

下面命令將創(chuàng)建一個(gè)二層網(wǎng)絡(luò)。它的輸入是兩個(gè)元素的向量，第一層有三個(gè)神經(jīng)元(3)，第二層有一個(gè)神經(jīng)元(1)。第一層的傳遞函數(shù)是tan-sigmoid，輸出層的傳遞函數(shù)是linear。輸入向量的第一個(gè)元素的范圍是-1到2[-1 2]，輸入向量的第二個(gè)元素的范圍是0到5[0 5]，訓(xùn)練函數(shù)是traingd。

net=newff([-1 2; 0 5],[3,1],{'tansig','purelin'},'traingd');

參數(shù)學(xué)習(xí)
net = newff(minmax§,[隱層的神經(jīng)元的個(gè)數(shù)，輸出層的神經(jīng)元的個(gè)數(shù)],{隱層神經(jīng)元的傳輸函數(shù)，輸出層的傳輸函數(shù)｝,‘反向傳播的訓(xùn)練函數(shù)’),其中p為輸入數(shù)據(jù)，t為輸出數(shù)據(jù)

1、tf為神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)，默認(rèn)為’tansig’函數(shù)為隱層的傳輸函數(shù)，

2、purelin函數(shù)為輸出層的傳輸函數(shù)

%TF1 = ‘tansig’;TF2 = ‘logsig’;

%TF1 = ‘logsig’;TF2 = ‘purelin’;

%TF1 = ‘logsig’;TF2 = ‘logsig’;

%TF1 = ‘purelin’;TF2 = ‘purelin’;

TF1=‘tansig’;TF2=‘purelin’;

net=newff(minmax(p),[10,1],{TF1 TF2},'traingdm');%網(wǎng)絡(luò)創(chuàng)建

網(wǎng)絡(luò)參數(shù)的設(shè)置

net.trainParam.epochs=10000;%訓(xùn)練次數(shù)設(shè)置net.trainParam.goal=1e-7;%訓(xùn)練目標(biāo)設(shè)置net.trainParam.lr=0.01;%學(xué)習(xí)率設(shè)置,應(yīng)設(shè)置為較少值，太大雖然會(huì)在開(kāi)始加快收斂速度，但臨近最佳點(diǎn)時(shí)，會(huì)產(chǎn)生動(dòng)蕩，而致使無(wú)法收斂net.trainParam.mc=0.9;%動(dòng)量因子的設(shè)置，默認(rèn)為0.9net.trainParam.show=25;%顯示的間隔次數(shù)

指定訓(xùn)練參數(shù)

net.trainFcn = 'traingd'; % 梯度下降算法net.trainFcn = 'traingdm'; % 動(dòng)量梯度下降算法net.trainFcn = 'traingda'; % 變學(xué)習(xí)率梯度下降算法net.trainFcn = 'traingdx'; % 變學(xué)習(xí)率動(dòng)量梯度下降算法% (大型網(wǎng)絡(luò)的首選算法)net.trainFcn = 'trainrp'; % RPROP(彈性BP)算法,內(nèi)存需求最小% 共軛梯度算法net.trainFcn = 'traincgf'; %Fletcher-Reeves修正算法net.trainFcn = 'traincgp'; %Polak-Ribiere修正算法,內(nèi)存需求比Fletcher-Reeves修正算法略大net.trainFcn = 'traincgb'; % Powell-Beal復(fù)位算法,內(nèi)存需求比Polak-Ribiere修正算法略大% (大型網(wǎng)絡(luò)的首選算法)net.trainFcn = 'trainscg'; % ScaledConjugate Gradient算法,內(nèi)存需求與Fletcher-Reeves修正算法相同,計(jì)算量比上面三種算法都小很多net.trainFcn = 'trainbfg'; %Quasi-Newton Algorithms - BFGS Algorithm,計(jì)算量和內(nèi)存需求均比共軛梯度算法大,但收斂比較快net.trainFcn = 'trainoss'; % OneStep Secant Algorithm,計(jì)算量和內(nèi)存需求均比BFGS算法小,比共軛梯度算法略大% (中型網(wǎng)絡(luò)的首選算法)net.trainFcn = 'trainlm'; %Levenberg-Marquardt算法,內(nèi)存需求最大,收斂速度最快net.trainFcn = 'trainbr'; % 貝葉斯正則化算法有代表性的五種算法為:'traingdx','trainrp','trainscg','trainoss', 'trainlm'%在這里一般是選取'trainlm'函數(shù)來(lái)訓(xùn)練，其算對(duì)對(duì)應(yīng)的是Levenberg-Marquardt算法

訓(xùn)練

net=train(net,pt,t)

作者：電氣工程的計(jì)算機(jī)萌新-余登武

總結(jié)

以上是生活随笔為你收集整理的MATLAB机器学习系列-3：BP神经网络算例实现的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。