? ? 對于神經網絡的監督學習有多種不同方法。之前一直總結整理的多層感知器反向傳播算法，可以看做是遞歸技術的應用，這種技術在統計學中通稱為隨機逼近。

這次是采用不同的途徑，通過包含如下兩個階段的混合方式解決非線性可分模式的分類問題：

將一個給定的非線性可分模式的集合轉換為新的集合，在一定的條件下，轉換后的模式變為線性的可能性很高；關于這一轉換的數學證明可以追溯到Cover的早期論文。

通過最小二乘估計來借給定的分類問題。

首先通過插值問題的討論來描述關于這一混合方式對模式分類問題的一種知性方式：

使用徑向基函數RBF，該網絡結構由三層組成：

輸入層由一些源節點（感知單元）組成，它們將網絡與外界環境連接起來。

第二層由隱藏單元組成，它的作用是從輸入空間到隱藏（特征）空間進行非線性變換。在大多情況下網絡僅有的隱藏層具有較高的維數，這一層是利用混合學習過程的第一階段在非監督方式下訓練的。

輸出層是線性的，它是為提供網絡的響應而專門設計的，該響應提供給應用于輸入層的激活模式。這一層是利用混合過程的第二階段在監督方式下訓練的。

從輸入空間到隱藏空間的非線性變換以及隱藏空間的高維數滿足Cover定理僅有的兩個條件。RBF網絡的多數理論建立在高斯函數之上，這一類中一個重要的成員是徑向基函數。高斯函數可以看做是一個核，因此基于高斯函數的兩階段過程的設計可看成是核方法。

?

模式可分性的Cover定理

假設看空間不是稠密分布的，將復雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更可能是線性可分的。

一組隨機指定的輸入模式（向量）的集合在m1維空間中線性可分，它的元素數目的最大期望等于2m1。

?

插值問題

考慮一個由輸入層、一個隱藏層和只有一個輸出單元的輸出層組成的前饋網絡。選擇只有一個輸出單元的輸出層的目的主要是為了簡化說明而又不失一般性。設計這個網絡實現從輸入空間到隱藏空間的一個非線性映射，隨后從隱藏空間到輸出空間則是線性映射。令m0為輸入空間的維數。這樣從總體上看這個網絡就相當于一個從m0維輸入空間到一維輸出空間的映射：

?

插值問題可以敘述如下：

給定一個包含N個不同點的集合{xi∈R^m0?|?i=1,2,...,N}和相應的N個實數的一個集合{di∈R^1?|?i=1,2,...,N},尋找一個函數F:R^n?→?R^1?滿足下述插值條件：

F(xi)?=?di??,i?=?1?,2?,...?,N??(A)

對于這里所述的嚴格插值來說，插值曲面（即函數F）必須通過所有的訓練數據點。

徑向基函數（RBF）技術就是要選擇一個函數F具有如下形式：

（B）

其中{φ（||x-xi||）}?|?i?=?1?,2?,...,N}是N個任意（一般是線性）函數的集合，稱為徑向基函數；||?*?||?表示范數，通常是歐幾里得范數。一直數據點xi∈R^m0(i?=?1,2,...,N)是徑向基函數的中心。

式A和式B結合，可以得到一組關于位置系數（權值）的展開{wi}的線性方程：

?

上式中的N?x?1向量d和w分別表示期望相應向量和線性權值向量，其中N表示訓練樣本的長度。令O表示元素為φij的N?x?N階的矩陣：

O?=?{φij}?^?N?i,j=1?稱該矩陣為插值矩陣。緊湊形式為?Ow=x

假設O為非奇異矩陣，因此存在逆矩陣O^-1,這樣w=O^-1?x????所以保證O為非奇異的也是非常重要的。

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—核方法和径向基函数网络（上）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。