1 感知機模型
1.1 模型定義
2 感知機學習策略
2.1 數據的線性可分性
2.2 學習策略
3 學習算法
3.1 算法原始形式
3.2 收斂性
3 學習算法的對偶形式

1 感知機模型

感知機perceptron是二類分類問題的線性分類模型，輸入為實例的特征向量，輸出為實例的類別（+1，-1）。感知機旨在求出訓練數據進行線性劃分的分離超平面（separating hyperplane），基于損失函數，利用梯度下降法對損失函數進行極小化，求得感知機模型，從而對新實例進行分類。它分為原始和對偶形式。1957年Rossenblatt提出。

1.1 模型定義

從輸入空間到輸出空間的映射（函數）：f(x)=sign(w·x+b)
其中，w是weight，x輸入向量，b偏置bias，sign是符號函數，即

假設空間是定義在所有特征空間上的函數（線性分類模型）的集合{f|f(x)=w·x+b}
感知機解釋：
線性方程w·x+b=0對應于特征空間Rn一個超平面，w是超平面的法向量，b是超平面的截距，超平面S將實例分為正負兩類。

2 感知機學習策略

2.1 數據的線性可分性

如果對于數據集T，存在一個超平面能夠完全正確的將其劃分到超平面的兩側稱為數據集線性可分linear separable

2.2 學習策略

假設數據線性可分，為了求出超平面，需要求出w和b，需要一個學習策略（如何找到超平面的計算方法），即定義損失函數，并將損失函數最小化。
定義損失函數：誤分類點總數到超平面S的總距離。
輸入空間Rn任一點到平面的距離是：點到平面的距離

誤分類點滿足：

因此誤分類點到平面的距離是：

假設總共有M個誤分類點，則總距離為：

不考慮常數項||w||,就是感知機的損失函數，即

在誤分類時，L為w，b的連續可導函數。正確分類時L為0。

3 學習算法

主要就是對上述損失函數進行求解全局最小（優）值（極小值）

3.1 算法原始形式

具體采用隨機梯度下降法（stochastic gradient descent SGD）：首先任意選取一個超平面w0，b0，然后梯度下降法不斷地極小化目標表函數，極小化過程不是一次使M中所有誤分類點梯度下降，而是一次隨機選取一個誤分類點使其梯度下降。
梯度為：

具體算法過程：

3.2 收斂性

首先將b并入w得到w hat，將x添加一維1，形式將被簡化。于是得到：

迭代次數k有一個上限，說明原始算法是可收斂的，前提是數據線性可分。

3 學習算法的對偶形式

說明一點，感知機的學習算法是支持向量機學習算法的基礎，這里原始形式和對偶形式與之對應。

Gram 矩陣：

MATLAB示例：

1 x1=[3,3]', 2 x2=[4,3]', 3 x3=[1,1]', 4 G=[x1'*x1,x1'*x2,x1'*x3; 5 x2'*x1,x2'*x2,x2'*x3; 6 x3'*x1,x3'*x2,x3'*x3]

?

?

轉載于:https://www.cnblogs.com/sxzhou/p/8490500.html

總結

以上是生活随笔為你收集整理的class-感知机Perception的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。