1 感知機(jī)模型
1.1 模型定義
2 感知機(jī)學(xué)習(xí)策略
2.1 數(shù)據(jù)的線性可分性
2.2 學(xué)習(xí)策略
3 學(xué)習(xí)算法
3.1 算法原始形式
3.2 收斂性
3 學(xué)習(xí)算法的對(duì)偶形式

1 感知機(jī)模型

感知機(jī)perceptron是二類分類問(wèn)題的線性分類模型，輸入為實(shí)例的特征向量，輸出為實(shí)例的類別（+1，-1）。感知機(jī)旨在求出訓(xùn)練數(shù)據(jù)進(jìn)行線性劃分的分離超平面（separating hyperplane），基于損失函數(shù)，利用梯度下降法對(duì)損失函數(shù)進(jìn)行極小化，求得感知機(jī)模型，從而對(duì)新實(shí)例進(jìn)行分類。它分為原始和對(duì)偶形式。1957年Rossenblatt提出。

1.1 模型定義

從輸入空間到輸出空間的映射（函數(shù)）：f(x)=sign(w·x+b)
其中，w是weight，x輸入向量，b偏置bias，sign是符號(hào)函數(shù)，即

假設(shè)空間是定義在所有特征空間上的函數(shù)（線性分類模型）的集合{f|f(x)=w·x+b}
感知機(jī)解釋：
線性方程w·x+b=0對(duì)應(yīng)于特征空間Rn一個(gè)超平面，w是超平面的法向量，b是超平面的截距，超平面S將實(shí)例分為正負(fù)兩類。

2 感知機(jī)學(xué)習(xí)策略

2.1 數(shù)據(jù)的線性可分性

如果對(duì)于數(shù)據(jù)集T，存在一個(gè)超平面能夠完全正確的將其劃分到超平面的兩側(cè)稱為數(shù)據(jù)集線性可分linear separable

2.2 學(xué)習(xí)策略

假設(shè)數(shù)據(jù)線性可分，為了求出超平面，需要求出w和b，需要一個(gè)學(xué)習(xí)策略（如何找到超平面的計(jì)算方法），即定義損失函數(shù)，并將損失函數(shù)最小化。
定義損失函數(shù)：誤分類點(diǎn)總數(shù)到超平面S的總距離。
輸入空間Rn任一點(diǎn)到平面的距離是：點(diǎn)到平面的距離

誤分類點(diǎn)滿足：

因此誤分類點(diǎn)到平面的距離是：

假設(shè)總共有M個(gè)誤分類點(diǎn)，則總距離為：

不考慮常數(shù)項(xiàng)||w||,就是感知機(jī)的損失函數(shù)，即

在誤分類時(shí)，L為w，b的連續(xù)可導(dǎo)函數(shù)。正確分類時(shí)L為0。

3 學(xué)習(xí)算法

主要就是對(duì)上述損失函數(shù)進(jìn)行求解全局最小（優(yōu)）值（極小值）

3.1 算法原始形式

具體采用隨機(jī)梯度下降法（stochastic gradient descent SGD）：首先任意選取一個(gè)超平面w0，b0，然后梯度下降法不斷地極小化目標(biāo)表函數(shù)，極小化過(guò)程不是一次使M中所有誤分類點(diǎn)梯度下降，而是一次隨機(jī)選取一個(gè)誤分類點(diǎn)使其梯度下降。
梯度為：

具體算法過(guò)程：

3.2 收斂性

首先將b并入w得到w hat，將x添加一維1，形式將被簡(jiǎn)化。于是得到：

迭代次數(shù)k有一個(gè)上限，說(shuō)明原始算法是可收斂的，前提是數(shù)據(jù)線性可分。

3 學(xué)習(xí)算法的對(duì)偶形式

說(shuō)明一點(diǎn)，感知機(jī)的學(xué)習(xí)算法是支持向量機(jī)學(xué)習(xí)算法的基礎(chǔ)，這里原始形式和對(duì)偶形式與之對(duì)應(yīng)。

Gram 矩陣：

MATLAB示例：

1 x1=[3,3]', 2 x2=[4,3]', 3 x3=[1,1]', 4 G=[x1'*x1,x1'*x2,x1'*x3; 5 x2'*x1,x2'*x2,x2'*x3; 6 x3'*x1,x3'*x2,x3'*x3]

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/sxzhou/p/8490500.html

總結(jié)

以上是生活随笔為你收集整理的class-感知机Perception的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。