BP 算法的改進在M a tlab 的實現研究

姚文俊

(中南民族大學電子信息工程學院　湖北武漢　430074)

摘　要:利用M atlab 中的神經網絡工具箱提供的豐富網絡學習和訓練函數,對BP 網絡和BP 算法的優化方案進行仿真,得到較優的BP 算法。

關鍵詞:人工神經網絡;BP 網絡;M atlab ;N eu ral N etw o rk Too lbox

中圖分類號:T P 39119 文獻標識碼:A 文章編號:1004373X (2003)2109504

Rea l iza tion of Progress BP A lgor ith m s on M a tlab

YAO W en jun

(Co llege of E lectronics and Info r m ati on Engineering ,SCU FN ,430074,Ch ina )

Abstract :In th is paper ,the concrete op ti m al techn iques fo r train ing BP neu ral netw o rk and BP learn ing algo rithm are ap 2

p lied 1By the m any neu ral netw o rk s and train ing functi on s in N eu ral N etw o rk Too lbox of M atlab ,w e get op ti m al train ing BP algo 2

rithm 1

Keywords :artifical neu ral netw o rk s ;BP neu ral netw o rk ;M atlab ;neu ral netw o rk too lbox

收稿日期:20030813

1　引　言

人工神經網絡(A rtificial N eu ral N etw o rk s ,

NN )系統從20世紀40年代末誕生至今僅短短半個多世紀,但由于他具有信息的分布存儲、并行處理以及自學習能力等優點,已經在信息處理、模式識別、智能控制及系統建模等領域得到越來越廣泛的應用。尤其是基于誤差反向傳播(E rro r B ack P rop agati on )算法的多層前饋網絡(M u lti p le L ayer Feedfo rw ard N etw o rk )(簡稱B P 網絡),可以以任意精度逼近任意的連續函數,所以廣泛應用于非線性建模、函數逼近、模式分類等方面。

近年來,為了解決B P 網絡收斂速度慢、訓練時間長等缺陷,提出了許多改進算法,但在應用B P 網絡解決實際問題的過程中,選擇多少層網絡、每層多少個神經元節點;選擇何種傳輸函數、何種訓練算法等,均無可行的理論指導,只能通過實驗計算獲得。這無形中增加了研究工作量和編程計算量。

在目前工程計算領域較為流行的軟件M atlab 中,提供了一個現成的神經網絡工具箱(N eu ral N etw o rk Too lbox ,NN Too l ),為解決這個問題提供了便利條

件[1]。本文針對B P 網絡和B P 算法的優化方案,在介

紹NN Too l 的基礎上,給出優化的仿真結果。2　BP 算法的分析211　B P 算法原理[2,3]

誤差反向傳播算法(B P 算法)是基于最優化的梯度下降算法,采用有導師的學習方式,他適用于多層前向網絡。但是,他也存在明顯的不足之處:

(1)B P 算法是按照均方誤差的梯度下降方向收斂的,但均方誤差的梯度曲線存在不少局部和全局最小點,這就使得神經網絡易陷入局部最小;

(2)B P 學習算法的收斂速度較慢,可能會浪費大量時間;

(3)神經網絡隱層的結點個數難以確定合適的數值;

(4)如何選取合適的學習樣本解決網絡的推廣(泛化)問題,即使網絡能正確處理未學習過的輸入。

針對這些問題,需要對標準B P 算法做必要的改進,以加快收斂速度、達到最優化。212　B P 算法的改進

B P 算法最優化的方向主要有權值調整、自適應學習速率調整、網絡結構調整等。常用的改進方法有以下幾種:

(1)加入動量項;

(2)自適應學習速率調整;

5

9

總結

以上是生活随笔為你收集整理的最优隐神经元数目 算法 matlab,BP算法的改进在Matlab的实现研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。