對(duì)于線性方程w*x+b = 0

對(duì)應(yīng)于空間的一個(gè)超平面S，其中w是超平面的法向量，b是超平面的截距。超平面將空間劃分為兩個(gè)部分，位于平面兩邊的點(diǎn)分屬于正負(fù)兩類。

前提：數(shù)據(jù)線性可分，可以找的一個(gè)超平面S，w*x+b = 0，能夠?qū)?shù)據(jù)完整劃分開(kāi)。

輸入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

輸出：w和b。

算法的原始形式：

選取初始值w₀和b₀

在數(shù)據(jù)集中選擇數(shù)據(jù) (x_i,y_i)

如果y_i(w_ix+b)<=0, w←w+ηy_ix_{i ?}b←b+ηy_i

轉(zhuǎn)到步驟2直到?jīng)]有誤分類點(diǎn)

經(jīng)過(guò)有限次搜索可以找到這個(gè)分類面，不唯一，與初值選擇，誤分類點(diǎn)的選擇順序等有關(guān)。

感知機(jī)對(duì)偶，

對(duì)原始形式做變形，

w =?η(y₁x₁+y₂x_{2+ ?+}y_ix_i) ,假設(shè)n_i 是這些數(shù)據(jù)點(diǎn)第i個(gè)點(diǎn)在訓(xùn)練過(guò)程中被誤分類的總次數(shù)，則有

w=∑n_iηy_ix_i

如果令a_i=n_iη，則有w=∑a_iy_ix_i，同理b=∑a_iy_i

算法的對(duì)偶形式：

取 a = (a₁，a₂， ?a_N)^T

選取初始值a=0和b=0

在數(shù)據(jù)集中選擇數(shù)據(jù) (x_i,y_i)

如果y_i∑(a_jx_j*x_i+b)<=0, a_i←a_i+η_{i ?}b←b+ηy_i

轉(zhuǎn)到步驟2直到?jīng)]有誤分類點(diǎn)

最后學(xué)習(xí)w和b可以表示為：w=∑a_iy_ix_i，b=∑aiyi

提前計(jì)算gram矩陣，降低運(yùn)算量。

轉(zhuǎn)載于:https://www.cnblogs.com/lancet1105/p/10341550.html

總結(jié)

以上是生活随笔為你收集整理的统计机器学习第二章 感知机的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。