對于線性方程w*x+b = 0

對應于空間的一個超平面S，其中w是超平面的法向量，b是超平面的截距。超平面將空間劃分為兩個部分，位于平面兩邊的點分屬于正負兩類。

前提：數據線性可分，可以找的一個超平面S，w*x+b = 0，能夠將數據完整劃分開。

輸入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

輸出：w和b。

算法的原始形式：

選取初始值w₀和b₀

在數據集中選擇數據 (x_i,y_i)

如果y_i(w_ix+b)<=0, w←w+ηy_ix_{i ?}b←b+ηy_i

轉到步驟2直到沒有誤分類點

經過有限次搜索可以找到這個分類面，不唯一，與初值選擇，誤分類點的選擇順序等有關。

感知機對偶，

對原始形式做變形，

w =?η(y₁x₁+y₂x_{2+ ?+}y_ix_i) ,假設n_i 是這些數據點第i個點在訓練過程中被誤分類的總次數，則有

w=∑n_iηy_ix_i

如果令a_i=n_iη，則有w=∑a_iy_ix_i，同理b=∑a_iy_i

算法的對偶形式：

取 a = (a₁，a₂， ?a_N)^T

選取初始值a=0和b=0

在數據集中選擇數據 (x_i,y_i)

如果y_i∑(a_jx_j*x_i+b)<=0, a_i←a_i+η_{i ?}b←b+ηy_i

轉到步驟2直到沒有誤分類點

最后學習w和b可以表示為：w=∑a_iy_ix_i，b=∑aiyi

提前計算gram矩陣，降低運算量。

轉載于:https://www.cnblogs.com/lancet1105/p/10341550.html

總結

以上是生活随笔為你收集整理的统计机器学习第二章 感知机的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。