多層感知器（MLP）

? ? Rosenblatt感知器和LMS算法，都是單層的并且是單個神經(jīng)元構造的神經(jīng)網(wǎng)絡，他們的局限性是只能解決線性可分問題，例如Rosenblatt感知器一直沒辦法處理簡單異或問題。然而日常生活中大多數(shù)問題不是線性可分的，都是多維度且無法直接進行線性分類。為了增加神經(jīng)網(wǎng)絡對這一類問題的泛化能力，出現(xiàn)了多層感知器（多層神經(jīng)網(wǎng)絡）的概念。

多層感知器基本特征：

? ? 網(wǎng)絡中每個神經(jīng)元模型包含一個可微的非線性激活函數(shù)。

? ? 網(wǎng)絡中包括一個或多個隱藏在輸入和輸出神經(jīng)節(jié)點之間的層。

? ? 網(wǎng)絡展示出高度的連接性，其強度是由網(wǎng)絡的突觸權值決定的。

?

訓練多層感知器的一個流行方法是反向傳播算法，訓練分為如下兩個階段：

前向階段，網(wǎng)絡的突觸權值是固定的，輸入信號在網(wǎng)絡中一層一層傳播，直到到達輸出端。因此，在這一階段，輸入信號的影響限制在網(wǎng)絡中激活隱藏神經(jīng)元和輸出神經(jīng)元上。

反向階段，通過比較網(wǎng)絡的輸出和期望輸出產(chǎn)生一個誤差信號。得到的誤差信號再次通過網(wǎng)絡一層一層傳播，但是這一次傳播是在反方向上進行的。在第二階段，對于網(wǎng)絡的突觸權值進行不斷的修正。對于輸出層權值的修正計算是直接的，但是對于隱藏層來說則更有挑戰(zhàn)性。

具有兩個隱藏層的多層感知器結構圖

函數(shù)信號。函數(shù)信號是從網(wǎng)絡輸入端而來的一個輸入信號（刺激），通過網(wǎng)絡（一個神經(jīng)元接一個神經(jīng)元）向前傳播，到達網(wǎng)絡輸出端即成為一個輸出信號。

誤差信號。一個誤差信號產(chǎn)生于網(wǎng)絡的一個輸出神經(jīng)元，并通過網(wǎng)絡（一層接一層）反向傳播。我們稱之為“誤差信號”是因為網(wǎng)絡的每一個神經(jīng)元對他的計算都以這種或那種形式涉及誤差依賴函數(shù)。

? ? 輸出神經(jīng)元構成網(wǎng)絡的輸出層。余下的神經(jīng)元構成網(wǎng)絡的隱藏層。因此隱藏層單元并不是網(wǎng)絡輸出或輸入的一部分-因此他們被稱為“隱藏”的。第一隱藏層的信號是從由傳感單元（源節(jié)點）構成的輸入饋給的；而第一隱藏層的輸出結果又應用于下一個隱藏層；網(wǎng)絡的其余部分依此類推。

多層感知器每一個隱藏層或輸出層神經(jīng)元的作用是進行兩種計算：

計算一個神經(jīng)元的輸出處出現(xiàn)的函數(shù)信號，它表現(xiàn)為關于輸入信號以及與該神經(jīng)元相關的突觸權值的一個連續(xù)非線性函數(shù)。

計算梯度向量（即誤差曲面對鏈接于一個神經(jīng)元輸入的權值的梯度）的一個估計，他需要反向通過網(wǎng)絡。

隱藏神經(jīng)元的功能

? ? 隱藏神經(jīng)元扮演著特征檢測算子（feature?detector）的角色；他們在多層感知器的運轉中起著決定性作用。隨著學習過程通過多層感知器不斷進行，隱藏神經(jīng)元開始逐步“發(fā)現(xiàn)”刻畫訓練數(shù)據(jù)的突出特征。它們是通過將輸入數(shù)據(jù)非線性變換到新的稱為特征空間的空間而實現(xiàn)的。例如，在模式分類問題中，感興趣的類在這個新的空間中可能比原始輸入數(shù)據(jù)空間中更容易分隔開。甚至，正事通過監(jiān)督學習形成的這一特種空間將多層感知器和Rosenblatt感知器區(qū)分開來。

多層感知器監(jiān)督學習的兩種不同方式?批量學習和在線學習

批量學習（離線學習）

? ? 在監(jiān)督學習的批量方法中，多數(shù)感知器的突觸權值的調(diào)整在訓練樣本集合的所有樣例都出現(xiàn)后進行，這構成了訓練的一個回合（epoch）。換句話說，批量學習的代價函數(shù)是由平均誤差能量定義的。多層改制器的突觸權值的調(diào)整是以回合-回合為基礎的。批量學習的有點是?對梯度向量的精確估計；學習過程的并行性。然而從實際觀點看，批量學習有著存儲需求。從統(tǒng)計的角度看，批量學習可以看成是某種形式的統(tǒng)計推斷。因此它很適合于解非線性回歸問題。

在線學習

????在監(jiān)督學習的在線方法下，對于多層感知器突觸權值的調(diào)整是以樣例-樣例為基礎的。用來最小化的代價函數(shù)是全體瞬時誤差能量。但是這樣的過程也違反了在線學習的并行性。在線學習方法被稱為隨機方法。這一隨機性具有所希望的學習過程不容易陷入局部極小值點的效果，這是在線學習好于批量學習的明確意義所在。在線學習的另一個有點在于它比批量學習需要的存儲量要少得多。同時它能夠追蹤訓練數(shù)據(jù)的小的改變，尤其是產(chǎn)生數(shù)據(jù)的環(huán)境是不穩(wěn)定的情況下。目前在線學習依然是主流方法。

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—多层感知器（MLP）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。