? ? 周志華《機器學習》第五章（神經網絡）的學習筆記上篇連接在這里：《上篇》。上篇講到了神經網絡、常用的激活函數、感知機和多層前饋神經網絡、局部極小和全局最小，今天繼續補上昨天落下得部分，也是就是我們的其他神經網絡（RBF、ART、SOM等網絡）、遞歸神經網絡（如Boltzmann機、Elman網絡）的部分。

?

一、其他神經網絡

? ?? 本小節講到的其他神經網絡為RBF網絡、ART網絡、SOM網絡。 在正式介紹這三種網絡時，首先引入競爭型學習概念，競爭型學習講究的原則為”勝者通吃、肉弱強食“。每一個時刻只有一個”勝出者“，這個”勝出者“的神經元被激活，其他的被抑制。競爭型學習是一種常用的無監督學學習策略。

? （1） RBF網絡（Radial Basis Function，又稱為徑向基函數網絡），它是一種單隱層前饋神經網絡。它使用徑向基函數（文末有解釋）作為隱層神經元激活函數，輸出層是對隱層神經元輸出的線性組合。通常的訓練RBF網絡的步驟： 第一步，確定神經元中心位置，可采取的方法有隨機采樣和聚類；第二步，利用BP算法確定參數（權重和閾值）。

? （2）ART網絡（Adaptive Resonance Theory）全名叫做自適應諧振理論網絡。（一種競爭型學習）

? （3）SOM網絡（Self-Organizing Map）叫做自組織映射網路，它也是一種競爭學習型無監督神經網絡。

? ? 注意，一般的神經網絡，它的網絡結構是實現固定的，它優化的是權重、閾值等參數。而結構自適應網絡可以將網絡結構列為了學習的目標之一，它能找著最符合數據結構特點的網絡結構。

? （4）級聯相關網絡就是一種結構自適應網絡。包含“級聯”和“相關”，“級聯”是建立層次連接的層級結構。相關知識通過最大化新神經元的輸出與網絡誤差之間的相關性來訓練相關的參數。級聯相關網絡不用設置網絡層數、隱層神經元數目，訓練速度較快，但是當數據較小容易陷入過擬合。
? ??

二、遞歸神經網絡（RNN）

? ?? 遞歸神經網絡我相信任何一個學習神經網絡的都知道。遞歸神經網絡和前饋神經網絡很大的一個差異點就是。RNN允許出現環形結構，即輸出可以返回來做輸入，繼續參與到下面的算法中 。常見的遞歸神經網絡如下，

? （1）Elman網絡：一種常見的遞歸神經網絡，網絡結構和多層前饋網絡結構類似，只不過隱層神經元的輸出返回來了作為下一時刻的輸入。而且這個隱層神經元采用的是Sigmoid函數（不知道什么是Sigmoid函數，就點介里），網絡的訓練通常采用的是推廣的BP算法。圖1、圖2分別是Elman網絡結構和多層前饋網絡結構。

圖1 Elman網絡結構

?

圖2 多層前饋網絡結構

（2）Boltzmann機：一種基于能量的模型，也是一種遞歸神經網絡。什么是基于能量的模型呢？我們都知道在神經網絡中有一種模型的狀態是用“能量”來定義的，所以能量最小化就是基于能量的模型的理想狀態，這個神經網絡也是在訓練，為了最小化我們的能量。

? ?? 理論上的Boltzmann機是一個全連接圖，這個網絡結構的復雜度很高，所以現實生活中我們常常采用受限的Boltzmann機（RBM）進行實操。受限的Boltzmann機受限在哪里呢？RBM只顯示顯層和隱層，所以這就極大的簡化了原先的結構。除此之外RBM采用CD（Contrastive Divergence，對比散度）算法訓練。

?

三、相關定義解釋

?? 1、什么是徑向基函數？

? ? ? ? 徑向基函數是關于空間中點的函數，且函數值只和距離原點的距離有關（一般使用歐式距離）。

? ? ? ? 徑向基函數的表達式為：?(x)=?(||x||) 。

?

總結

以上是生活随笔為你收集整理的学习笔记----周志华《机器学习》第五章（神经网络）（二）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。