基本概念

線性可分：在特征空間中可以用一個(gè)線性分界面正確無誤地分開兩 類樣本；采用增廣樣本向量，即存 在合適的增廣權(quán)向量 a 使得：

則稱樣本是線性可分的。如下圖中左圖線性可分，右圖不可分。所有滿足條件的權(quán)向量稱為解向量。權(quán)值空間中所有解向量組成的區(qū)域稱為解區(qū)。

通常對解區(qū)限制：引入余量b，要求解向量滿足：

?

使解更可靠（推廣性更強(qiáng)），防止優(yōu)化算法收斂到解區(qū)的邊界。

感知準(zhǔn)則函數(shù)及求解

對于權(quán)向量a，如果某個(gè)樣本yk被錯(cuò)誤分類，則。我們可以用對所有錯(cuò)分樣本的求和來表示對錯(cuò)分樣本的懲罰：

其中Yk是被a錯(cuò)分的樣本集合。當(dāng)且僅當(dāng)JP(a*) = min JP(a) = 0 時(shí)，a*是解向量。這就是Rosenblatt提出的感知器（Perceptron）準(zhǔn)則函數(shù)。

感知器準(zhǔn)則函數(shù)的最小化可以使用梯度下降迭代算法求解：

其中，k為迭代次數(shù)，η為調(diào)整的步長。即下一次迭代的權(quán)向量是把當(dāng)前時(shí)刻的權(quán)向量向目標(biāo)函數(shù)的負(fù)梯度方向調(diào)整一個(gè)修正量。

因此，迭代修正的公式為：

即在每一步迭代時(shí)把錯(cuò)分的樣本按照某個(gè)系數(shù)疊加到權(quán)向量上。

通常情況，一次將所有錯(cuò)誤樣本進(jìn)行修正不是效率最高的做法，更常用是每次只修正一個(gè)樣本或一批樣本的固定增量法：

收斂性討論：可以證明，對于線性可分的樣本集，采用這種梯度下降的迭代算法：

經(jīng)過有限次修正后一定會(huì)收斂到一個(gè)解向量。

理論結(jié)論：只要訓(xùn)練樣本集是線性可分的，對于任意的初值 a(1) ，經(jīng)過有限次疊代，算法必定收斂。

感知器是最簡單可以“學(xué)習(xí)”的機(jī)器，可以解決線性可分的問題。當(dāng)樣本線性不可分時(shí)，感知器算法不會(huì)收斂。實(shí)際應(yīng)用中直接使用感知器的場合并不多，但他是很多復(fù)雜算法的基礎(chǔ)。

（轉(zhuǎn)載請注明作者和出處：http://blog.csdn.net/xiaowei_cqu?未經(jīng)允許請勿用于商業(yè)用途）

總結(jié)

以上是生活随笔為你收集整理的感知器 Perceptron的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。