《統(tǒng)計(jì)學(xué)習(xí)方法》學(xué)習(xí)筆記：第二章 感知機(jī)

• 2 感知機(jī)
• • 2.1 感知機(jī)模型
  • 2.2 感知機(jī)學(xué)習(xí)策略
  • • 2.2.1 數(shù)據(jù)的線性可分性
    • 2.2.2 感知機(jī)學(xué)習(xí)策略
  • 2.3 感知機(jī)學(xué)習(xí)算法
  • • 2.3.1 感知機(jī)學(xué)習(xí)算法的原始形式
    • 2.3.2 算法的收斂性
    • 2.3.3 感知機(jī)學(xué)習(xí)算法的對偶形式
  • 本章概要

2 感知機(jī)

• 感知機(jī)（perceptron）是二分類的線性分類模型，其輸入為實(shí)例的特征向量，輸出為實(shí)例的類別，取+1或-1二值。感知機(jī)對于輸入空間（特征空間）中將實(shí)例劃分為正負(fù)兩類的分離超平面，屬于判別模型。感知機(jī)學(xué)習(xí)旨在求出將訓(xùn)練數(shù)據(jù)進(jìn)行線性劃分的分離超平面，為此，導(dǎo)入基于誤分類的損失函數(shù)，利用梯度下降法對損失函數(shù)進(jìn)行極小化，求得感知機(jī)模型。
• 感知機(jī)學(xué)習(xí)算法具有簡單而易于實(shí)現(xiàn)的優(yōu)點(diǎn)，分為原始形式和對偶形式。感知機(jī)預(yù)測是用學(xué)習(xí)到的感知機(jī)模型，對新的輸入實(shí)例進(jìn)行分類。感知機(jī)于1957年由Rosenblatt提出，是神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的基礎(chǔ)。

2.1 感知機(jī)模型

• 感知機(jī)【定義】
  假設(shè)輸入空間（特征空間）是 $X\in R^n$ ，輸出空間是 $Y=\{?1,+1\}$ 。輸入 $x\in X$ 表示實(shí)例的特征向量，對于輸入空間的點(diǎn)；輸出 $y\in Y$表示實(shí)例的類別。由輸入空間到輸出空間的如下函數(shù):$$f(x)=sign(w?x+b)$$稱為感知機(jī)。其中，$w$和$b$為感知機(jī)模型參數(shù)， $w\in R^n$叫做權(quán)值（weight）或權(quán)值向量（weight vector），$b\in R$ 叫做偏置（bias），$w?x$表示$w$和$x$的內(nèi)積，$sign$是符號函數(shù)，即：
  $$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ ?1,& x<0\end{array}$$
• 感知機(jī)是一種線性分類模型，屬于判別模型。感知機(jī)模型的假設(shè)空間是定義在特征空間中的所有線性分類模型或線性分類器，即函數(shù)集合$\{f|f(x)=w?x+b\}$。
• 感知機(jī)有如下幾何解釋：線性方程$$w?x+b=0$$對應(yīng)于特征空間$R^n$中的一個超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。這個超平面將特征空間劃分為兩個部分，位于兩部分的點(diǎn)（特征向量）分別被分為正負(fù)兩類。因此，超平面 $S$ 稱為分離超平面。
  
• 感知機(jī)學(xué)習(xí)，由訓(xùn)練數(shù)據(jù)集（實(shí)例的特征向量及類別）$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$,求得感知機(jī)模型，即求得模型參數(shù) $w,b$ 。感知機(jī)預(yù)測，通過學(xué)習(xí)得到的感知機(jī)模型，對于新的輸入實(shí)例給出其對應(yīng)的輸出類別。

2.2 感知機(jī)學(xué)習(xí)策略

2.2.1 數(shù)據(jù)的線性可分性

給定一個數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$，如果存在某個超平面 $S$，能夠?qū)?shù)據(jù)集的正實(shí)例點(diǎn)和負(fù)實(shí)例點(diǎn)完全正確的劃分到超平面的兩側(cè)，即對所有 $y_i=+1$ 的實(shí)例 $i$ ，有 $w?x_i+b>0$，對所有 $y_i=?1$ 的實(shí)例 $i$ ，有 $w?x_i+b<0$，則稱數(shù)據(jù)集 $T$ 為線性可分?jǐn)?shù)據(jù)集；否則，稱數(shù)據(jù)集 $T$ 為線性不可分。

2.2.2 感知機(jī)學(xué)習(xí)策略

• 假設(shè)訓(xùn)練數(shù)據(jù)集是線性可分的，感知機(jī)學(xué)習(xí)的目標(biāo)是求得一個能夠?qū)⒂?xùn)練集正實(shí)例點(diǎn)和負(fù)實(shí)例點(diǎn)完全正確分開的分離超平面。為了找出這樣的超平面，即確定感知機(jī)模型參數(shù) $w,b$ ，需要確定一個學(xué)習(xí)策略，即定義（經(jīng)驗(yàn)）損失函數(shù)并將損失函數(shù)極小化。
• 損失函數(shù)的一個自然選擇是誤分類點(diǎn)的總數(shù)。但是，這樣的損失函數(shù)不是參數(shù)$w,b$的連續(xù)可導(dǎo)函數(shù)，不易優(yōu)化。損失函數(shù)的另一個選擇是誤分類點(diǎn)到超平面$S$的總距離，這是感知機(jī)所采用的。為此，首先寫出輸入空間$R^n$中任一點(diǎn)$x_0$到超平面$S$的距離：$$\frac{1}{||w||}|w?x_0+b|$$這里，$||w||$是$w$的$L_2$范數(shù)。
• 其次，對于誤分類的數(shù)據(jù)$(x_i,y_i)$來說，$$?y_i(w?x_i+b)>0$$成立。因?yàn)楫?dāng)$w?x_i+b>0$時，$y_i=?1$；當(dāng)$w?x_i+b<0$時，$y_i=+1$；因此，誤分類點(diǎn)$x_i$到超平面$S$的距離是$$?\frac{1}{||w||}{y}_i(w?x_i+b)$$
• 這樣，假設(shè)超平面的誤分類點(diǎn)集合為$M$，那么所有誤分類點(diǎn)到超平面的總距離為$$?\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w?x_i+b)$$，不考慮 $\frac{1}{||w||}$ 就得到感知機(jī)學(xué)習(xí)的損失函數(shù)。
• 給定訓(xùn)練數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$。感知機(jī)$sign(w?x+b)$學(xué)習(xí)的損失函數(shù)定義為$$L(w,b)=?\sum _{x_i\in M}{y}_i(w?x_i+b)$$，其中$M$為誤分類點(diǎn)的集合。這個損失函數(shù)就是感知機(jī)學(xué)習(xí)的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)。
• 顯然，損失函數(shù)$L(w,b)$是非負(fù)的。如果沒有誤分類點(diǎn)，損失函數(shù)值為0.而且，誤分類點(diǎn)越少，誤分類點(diǎn)離超平面越近，損失函數(shù)值就越小。一個特點(diǎn)樣本點(diǎn)的損失函數(shù)：在誤分類時，是參數(shù)$w,b$的線性函數(shù)，在正確分類時是0.因此，給定訓(xùn)練數(shù)據(jù)集$T$，損失函數(shù)$L(w,b)$是$w,b$的連續(xù)可導(dǎo)函數(shù)。
• 感知機(jī)學(xué)習(xí)的策略是在假設(shè)空間中選取使損失函數(shù)式最小的模型參數(shù)$w,b$,即感知機(jī)模型。

2.3 感知機(jī)學(xué)習(xí)算法

2.3.1 感知機(jī)學(xué)習(xí)算法的原始形式

• 感知機(jī)學(xué)習(xí)問題轉(zhuǎn)化為求解損失函數(shù)式的最優(yōu)化問題，最優(yōu)化的方法是隨機(jī)梯度下降法。
• 感知機(jī)學(xué)習(xí)算法是對以下最優(yōu)化問題的算法。給定訓(xùn)練數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$。
• 感知機(jī)$sign(w?x+b)$學(xué)習(xí)的損失函數(shù)定義為$$L(w,b)=?\sum _{x_i\in M}{y}_i(w?x_i+b)$$，其中$M$為誤分類點(diǎn)的集合。求參數(shù)$w,b$使其為以下?lián)p失函數(shù)極小化問題的解：$$mi{n}_{w,b}L(w,b)=?\sum _{x_i\in M}{y}_i(w?x_i+b)$$
• 感知機(jī)學(xué)習(xí)算法是誤分類驅(qū)動的，具體采用隨機(jī)梯度下降法。首先，任意選取一個超平面$w_0,b_0$，然后用梯度下降法不斷地極小化目標(biāo)函數(shù)。極小化過程中不是一次使$M$中所有誤分類點(diǎn)的梯度下降，而是一次隨機(jī)選取一個誤分類點(diǎn)使其梯度下降。
• 感知機(jī)學(xué)習(xí)算法的原始形式
  輸入：訓(xùn)練數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$；學(xué)習(xí)率 $\eta$ $(0<\eta \le 1)$.
  輸出：$w,b$；感知機(jī)模型：$f(x)=sign(w?x+b)$
  (1)選取初值$w_0,b_0$
  (2)在訓(xùn)練集中選取數(shù)據(jù)$(x_i,y_i)$
  (3)如果 $y_i(w?x_i+b)\le 0$，$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$
  (4)轉(zhuǎn)至(2)，直至訓(xùn)練集中沒有誤分類點(diǎn)。
• 感知機(jī)學(xué)習(xí)算法的原始形式直觀上有如下解釋：當(dāng)一個實(shí)例點(diǎn)被誤分類，即位于分離超平面的錯誤一側(cè)時，則調(diào)整$w,b$的值，使分離超平面向該誤分類點(diǎn)的一側(cè)移動，以減少該誤分類點(diǎn)與超平面間的距離，直至超平面超過該誤分類點(diǎn)使其被正確分類。

2.3.2 算法的收斂性

• 對于線性可分?jǐn)?shù)據(jù)集，感知機(jī)學(xué)習(xí)算法原始形式收斂，即經(jīng)過有限次迭代可以得到一個將訓(xùn)練數(shù)據(jù)集完全正確劃分的分離超平面及感知機(jī)模型。
• 誤分類的次數(shù)是有上界的，經(jīng)過有限次搜索，可以找到將訓(xùn)練數(shù)據(jù)完全分開的超平面。也就是說，當(dāng)訓(xùn)練數(shù)據(jù)集線性可分時，感知機(jī)學(xué)習(xí)算法原始形式是收斂的。
• 感知機(jī)學(xué)習(xí)算法存在許多解，這些解既依賴于初值的選擇，也依賴于迭代過程中誤分類點(diǎn)的迭代次序，為了得到唯一的超平面，需要對分離超平面添加約束條件。當(dāng)訓(xùn)練集線性不可分時，迭代結(jié)果會發(fā)生震蕩。

2.3.3 感知機(jī)學(xué)習(xí)算法的對偶形式

• 對偶形式的基本想法是，將 $w$ 和 $b$ 表示為實(shí)例 $x_i$ 和標(biāo)記 $y_i$ 的線性組合的形式，通過求解系數(shù)而求得 $w$ 和 $b$ 。在感知機(jī)學(xué)習(xí)算法的原始形式中，假設(shè)初始值$w_0,b_0$均為0.對誤分類點(diǎn)$(x_i,y_i)$通過$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$，逐步修改$w,b$，設(shè)修改n次，則$w,b$關(guān)于$(x_i,y_i)$的增量分別是$a_i{y}_i{x}_i$和$a_i{y}_i$，這里$a_i=n_i\eta$.
• 在學(xué)習(xí)過程中不難看出，最后學(xué)習(xí)到的$w,b$可以分別表示為$$w=\sum _{i=1}^N{a}_i{y}_i{x}_i$$ $$b=\sum _{i=1}^N{a}_i{y}_i$$這里，$a_i\ge 0,i=1,2,?,N$，當(dāng)$\eta =1$時，表示第$i$個實(shí)例點(diǎn)由于誤分而進(jìn)行更新的次數(shù)。實(shí)例點(diǎn)更新次數(shù)越多，意味著它距離分離超平面越近，也就越難正確分類，這樣的實(shí)例對學(xué)習(xí)結(jié)果影響最大。
  感知機(jī)學(xué)習(xí)算法的對偶形式
  輸入：線性可分的數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),???,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,?1\},i=1,2...N$；學(xué)習(xí)率 $\eta$ $(0<\eta \le 1)$.
  輸出：$a,b$；感知機(jī)模型：$$f(x)=sign(\sum _{j=1}^N{a}_j{y}_j{x}_j+b)$$,其中$a=(a_1,a_2,?,a_N{)}^T$
  （1）$a\leftarrow 0,b\leftarrow 0$
  （2）在訓(xùn)練集中選取數(shù)據(jù)$(x_i,y_i)$
  （3）如果$$y_i(\sum _{j=1}^N{a}_j{y}_j{x}_j?x_i+b)\le 0$$,
  $$a\leftarrow a_i+\eta$$,$$b\leftarrow b+\eta y_i$$
  （4）轉(zhuǎn)至（2）直至沒有誤分類數(shù)據(jù)
• 對偶形式中，訓(xùn)練實(shí)例僅以內(nèi)積的形式出現(xiàn)，為了方便，可以預(yù)先將訓(xùn)練集中實(shí)例間的內(nèi)積計(jì)算出來，并以矩陣的形式存儲，這個矩陣就是Gram矩陣：$$G=[x_i?x_j{]}_{N?N}$$

本章概要

感知機(jī)是根據(jù)輸入實(shí)例的特征向量$x$對其進(jìn)行二分類的線性分類模型:$$f(x)=sign(w?x+b)$$感知機(jī)模型對應(yīng)于輸入空間（特征空間）中的分離超平面：$$w?x+b=0$$

感知機(jī)學(xué)習(xí)的策略是極小化損失函數(shù):$$mi{n}_{w,b}L(w,b)=?\sum _{x_i\in M}{y}_i(w?x_i+b)$$損失函數(shù)對應(yīng)于誤分類點(diǎn)到分離超平面的總距離。

感知機(jī)學(xué)習(xí)算法是基于隨機(jī)梯度下降法的對損失函數(shù)的最優(yōu)化算法，有原始形式和對偶形式，算法簡單且易于實(shí)現(xiàn)。原始形式中，首先任意選一個超平面，然后用梯度下降法不斷極小化目標(biāo)函數(shù)。在這個過程中，一次隨機(jī)選取一個誤分類點(diǎn)使其梯度下降。

當(dāng)訓(xùn)練數(shù)據(jù)集線性可分時，感知機(jī)學(xué)習(xí)算法是收斂的。感知機(jī)算法在訓(xùn)練數(shù)據(jù)集上的誤分類次數(shù) $k$ 滿足不等式：$$k\le (\frac{R}{\gamma }{)}^2$$當(dāng)訓(xùn)練數(shù)據(jù)集線性時，感知機(jī)學(xué)習(xí)算法存在無窮多個解，其解由不同的初值或不同的迭代次序而可能有所不同。

總結(jié)

以上是生活随笔為你收集整理的机器学习理论《统计学习方法》学习笔记：第二章 感知机的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。