43 RBF神经网络
1 RBF神經(jīng)網(wǎng)絡(luò)介紹
RBF(Radial Basis Function, RBF)網(wǎng)絡(luò)和BP網(wǎng)絡(luò)一樣都是非線性多層前向網(wǎng)絡(luò),在任
何情況下可以互相代替。BP神經(jīng)網(wǎng)絡(luò)是一種全局逼近網(wǎng)絡(luò),學(xué)習(xí)速率相對慢些,不適合
實時性等要求較高的場合。而RBF網(wǎng)絡(luò)被證明對非線性網(wǎng)絡(luò)具有一致逼近性,可以逼近
任意的非線性函數(shù),結(jié)構(gòu)簡單,并且具有很快的學(xué)習(xí)收斂速度。因此RBF網(wǎng)絡(luò)有較為廣
泛的應(yīng)用
徑向基網(wǎng)絡(luò)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò),使用徑向基函數(shù)作為隱層神經(jīng)元的激活函數(shù),
而輸出層則是隱層輸出的線性組合。徑向基神經(jīng)網(wǎng)絡(luò)可分為正則化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò),廣
義RBF網(wǎng)絡(luò)是由正則化網(wǎng)絡(luò)稍加變化得到的,被應(yīng)用的較多
2 徑向基函數(shù)
3 正則化網(wǎng)絡(luò)
正則化網(wǎng)絡(luò)中,所有的輸入樣本作為徑向基函數(shù)的中心Xp,即這里隱層節(jié)點數(shù)等于輸入
樣本數(shù)P。各徑向基函數(shù)選擇統(tǒng)一的標(biāo)準(zhǔn)差σ,從隱層到輸出層之間采用與權(quán)值向量
W加權(quán)和的形式進行線性組合
4 權(quán)值調(diào)整——目標(biāo)輸出
5 權(quán)值調(diào)整——算法
6 局限性和解決途徑
正則化逼近性能依賴于足夠多的訓(xùn)練樣本,但是如果訓(xùn)練樣本的樣本量P過大,需要
計算P timesP 矩陣的逆,網(wǎng)絡(luò)計算量將大的驚人(通用矩陣相乘算法的復(fù)雜度是
O(P 3),優(yōu)化算法的復(fù)雜度是O(P 2.807) ),從而導(dǎo)致過低的效率甚至根本不可能實
現(xiàn)。
· 另一個局限性是當(dāng)一個矩陣很大時,它是病態(tài)矩陣的可能性就很高,也就是說Φ中的
一個微小擾動將對結(jié)果W產(chǎn)生很大影響。
· 這些問題的解決方案是減少隱層神經(jīng)元的個數(shù),使其階躍輸入維度數(shù)和樣本量之間。
此時求得的解是較低維度空間上的次優(yōu)解。
7 廣義BPF網(wǎng)絡(luò)
廣義RBF網(wǎng)絡(luò)是針對正則化網(wǎng)絡(luò)的局限性稍加變化得到的,主要體現(xiàn)在徑向基函數(shù)的
中心tj及基函數(shù)標(biāo)準(zhǔn)差的選取上,而且在隱層加入了閾值參數(shù)來與基函數(shù)共同求加權(quán)
和。廣義RBF網(wǎng)絡(luò)中隱節(jié)點的個數(shù)M遠(yuǎn)小于樣本個數(shù)P,基函數(shù)的中心更多的由訓(xùn)練
算法確定。
· 根據(jù)徑向基函數(shù)中心確定方法的不同,對應(yīng)有不同的學(xué)習(xí)策略,常見的有:隨機選取
固定中心;自組織選取中心;有監(jiān)督選取中心。
8 例子說明
RBF主要是低位映射到高維,通過減去徑向基中心生成高維數(shù)據(jù)
正則化RBF網(wǎng)絡(luò)是選取所有X作為徑向基中心,廣義RBF是選擇有限數(shù)據(jù)進行映射
$ x1x2x_1 x_2x1?x2?
x1x^1x1 2 4
x2x^2x2 1 1
x3x^3x3 3 1
x4x^4x4 2 2
分別以x1,x2,x3,x4為徑向基中心點求距離,然后再映射后成為四維數(shù)據(jù),變成線性可分
0 10\sqrt{\smash[b]{10}}10? 10\sqrt{\smash[b]{10}}10? 2
10\sqrt{\smash[b]{10}}10? 0 2 2\sqrt{\smash[b]{2}}2?
10\sqrt{\smash[b]{10}}10? 2 0 2\sqrt{\smash[b]{2}}2?
2 2\sqrt{\smash[b]{2}}2? 2\sqrt{\smash[b]{2}}2? 0
徑向基函數(shù)生成新數(shù)據(jù),x離中心約近y越大,越遠(yuǎn)y越小,新數(shù)據(jù)一定是線性可分的
總結(jié)
以上是生活随笔為你收集整理的43 RBF神经网络的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: VBA:一个Word VBA编程的例子
- 下一篇: 【主动轮廓模型(一)】《Snakes: