徑向基函數（RBF）網絡結構，基于產值理論

?

????

輸入層，由m0個源節點組成，其中m0是輸入向量x的維數。

隱藏層，由和訓練樣本的大小N相同個數的計算單元組成，每個單元都從數學上用一個徑向基函數描述：

?

?

第j個輸入數據點xj定義了該徑向基函數中心，向量x是作用于輸入層的信號（模式）。因此，與多層感知器不同，源節點和隱藏單元的鏈接是直接鏈接，沒有權值。

輸出層，上圖輸出層由單一計算單元構成。除了一般情況下輸出層的大小比隱藏層的大小要小得多之外，對于輸出層的大小沒有限制。

之后，重點考慮高斯函數作為徑向基函數的使用，在這樣的情況下，隱藏層的每個計算單元可以定義為：

?

其中ρj是第j個以xj為中心的高斯函數的寬的測量。一般情況下，高斯隱藏單元被分配給一個公用的寬ρ。在這一類情形下，將隱藏單元區分開的參數是中心x,。在建立RBF網絡時選擇高斯函數作為徑向基函數背后的基本原理是它具有多個所希望的性質，隨著學習的進行這些性質將變得很明顯。

????模式識別或者非線性回歸的背景下訓練樣本{xi,di}^N?i=1?通常是含噪聲的。遺憾的是，基于噪聲數據使用插值將導致引入歧途的結果-一次需要RBF網絡的不同設計途徑。

需要注意的另一個實際問題是：使隱藏層具有和輸入樣本數相同的大小可能導致計算資源的浪費，尤其是處理大規模訓練樣本時。當RBF網絡的隱藏層是由上式描述的方式所指定時，發現在訓練樣本中數據點之間存在的相關性相應地一直到了隱藏層的單元上。由于訓練樣本中可能存在的固有冗余，隱藏神經元也具有冗余。在這種情況下，使得隱藏層的大小事訓練樣本大小的一部分因而是一個好的設計實踐（也就是把隱藏層壓縮減小）。

?

可以考慮利用K均值聚類（?https://blog.csdn.net/u013761036/article/details/96136282?）的方式把隱藏層N壓縮到K。

最后在用最小二乘估計（RLS）計算輸出層之前的那些W

?

“K-均值，RLS”算法的一個有吸引力的特征是它的計算高效性，這是由于K-均值和RLS算法都在其各自的方式上是計算高效的這一事實。這一算法唯一可疑的特征是缺少將隱藏層的訓練和輸出層的訓練結合起來的總的最優準則，從而在統計意義上保證整個系統的最優性。

?

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—核方法和径向基函数网络（下）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。