神经网络与机器学习 笔记—核方法和径向基函数网络（上）
? ? 對于神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)有多種不同方法。之前一直總結(jié)整理的多層感知器反向傳播算法，可以看做是遞歸技術(shù)的應(yīng)用，這種技術(shù)在統(tǒng)計學(xué)中通稱為隨機(jī)逼近。
這次是采用不同的途徑，通過包含如下兩個階段的混合方式解決非線性可分模式的分類問題：
首先通過插值問題的討論來描述關(guān)于這一混合方式對模式分類問題的一種知性方式：
使用徑向基函數(shù)RBF，該網(wǎng)絡(luò)結(jié)構(gòu)由三層組成：
輸入層由一些源節(jié)點（感知單元）組成，它們將網(wǎng)絡(luò)與外界環(huán)境連接起來。
第二層由隱藏單元組成，它的作用是從輸入空間到隱藏（特征）空間進(jìn)行非線性變換。在大多情況下網(wǎng)絡(luò)僅有的隱藏層具有較高的維數(shù)，這一層是利用混合學(xué)習(xí)過程的第一階段在非監(jiān)督方式下訓(xùn)練的。
輸出層是線性的，它是為提供網(wǎng)絡(luò)的響應(yīng)而專門設(shè)計的，該響應(yīng)提供給應(yīng)用于輸入層的激活模式。這一層是利用混合過程的第二階段在監(jiān)督方式下訓(xùn)練的。
從輸入空間到隱藏空間的非線性變換以及隱藏空間的高維數(shù)滿足Cover定理僅有的兩個條件。RBF網(wǎng)絡(luò)的多數(shù)理論建立在高斯函數(shù)之上，這一類中一個重要的成員是徑向基函數(shù)。高斯函數(shù)可以看做是一個核，因此基于高斯函數(shù)的兩階段過程的設(shè)計可看成是核方法。
?
模式可分性的Cover定理
假設(shè)看空間不是稠密分布的，將復(fù)雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更可能是線性可分的。
一組隨機(jī)指定的輸入模式（向量）的集合在m1維空間中線性可分，它的元素數(shù)目的最大期望等于2m1。
?
插值問題
考慮一個由輸入層、一個隱藏層和只有一個輸出單元的輸出層組成的前饋網(wǎng)絡(luò)。選擇只有一個輸出單元的輸出層的目的主要是為了簡化說明而又不失一般性。設(shè)計這個網(wǎng)絡(luò)實現(xiàn)從輸入空間到隱藏空間的一個非線性映射，隨后從隱藏空間到輸出空間則是線性映射。令m0為輸入空間的維數(shù)。這樣從總體上看這個網(wǎng)絡(luò)就相當(dāng)于一個從m0維輸入空間到一維輸出空間的映射：
?
插值問題可以敘述如下：
給定一個包含N個不同點的集合{xi∈R^m0?|?i=1,2,...,N}和相應(yīng)的N個實數(shù)的一個集合{di∈R^1?|?i=1,2,...,N},尋找一個函數(shù)F:R^n?→?R^1?滿足下述插值條件：
F(xi)?=?di??,i?=?1?,2?,...?,N??(A)
對于這里所述的嚴(yán)格插值來說，插值曲面（即函數(shù)F）必須通過所有的訓(xùn)練數(shù)據(jù)點。
徑向基函數(shù)（RBF）技術(shù)就是要選擇一個函數(shù)F具有如下形式：
（B）
其中{φ（||x-xi||）}?|?i?=?1?,2?,...,N}是N個任意（一般是線性）函數(shù)的集合，稱為徑向基函數(shù)；||?*?||?表示范數(shù)，通常是歐幾里得范數(shù)。一直數(shù)據(jù)點xi∈R^m0(i?=?1,2,...,N)是徑向基函數(shù)的中心。
式A和式B結(jié)合，可以得到一組關(guān)于位置系數(shù)（權(quán)值）的展開{wi}的線性方程：
?
上式中的N?x?1向量d和w分別表示期望相應(yīng)向量和線性權(quán)值向量，其中N表示訓(xùn)練樣本的長度。令O表示元素為φij的N?x?N階的矩陣：
O?=?{φij}?^?N?i,j=1?稱該矩陣為插值矩陣。緊湊形式為?Ow=x
假設(shè)O為非奇異矩陣，因此存在逆矩陣O^-1,這樣w=O^-1?x????所以保證O為非奇異的也是非常重要的。
?
總結(jié)
以上是生活随笔為你收集整理的神经网络与机器学习 笔记—核方法和径向基函数网络（上）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 神经网络与机器学习 笔记—小规模和大规模
- 下一篇： 神经网络与机器学习 笔记—核方法和径向基