?感知機學習旨在求出將訓練數據集進行線性劃分的分類超平面，為此，導入了基于誤分類的損失函數，然后利用梯度下降法對損失函數進行極小化，從而求出感知機模型。感知機模型是神經網絡和支持向量機的基礎。下面分別從感知機學習的模型、策略和算法三個方面來介紹。

1. 感知機模型

? ? ??感知機模型如下：

f(x)= sign(w*x+b)

? ??? 其中，x為輸入向量，sign為符號函數，括號里面大于等于0，則其值為1，括號里面小于0，則其值為-1。w為權值向量，b為偏置。求感知機模型即求模型參數w和b。感知機預測，即通過學習得到的感知機模型，對于新的輸入實例給出其對應的輸出類別1或者-1。

2. 感知機策略

? ? ??假設訓練數據集是線性可分的，感知機學習的目標就是求得一個能夠將訓練數據集中正負實例完全分開的分類超平面，為了找到分類超平面，即確定感知機模型中的參數w和b，需要定義一個損失函數并通過將損失函數最小化來求w和b。

? ? ? ?這里選擇的損失函數是誤分類點到分類超平面S的總距離。輸入空間中任一點x₀到超平面S的距離為：

其中，||w||為w的L2范數。

? ? ? ? 其次，對于誤分類點來說，當-y_i?(wx_i?+ b)>0時，y_i=-1，當-y_i(wx_i?+ b)<0時，y_i=+1。所以對誤分類點（x_i, y_i）滿足：

-y_i?(wx_i?+b) > 0

所以誤分類點（x_i, y_i）到分類超平面S的距離是：

3. 感知機算法

? ? ? ?感知機學習問題轉化為求解損失函數式（1）的最優化問題，最優化的方法是隨機梯度下降法。感知機學習算法是誤分類驅動的，具體采用隨機梯度下降法。首先，任意選取一個超平面w₀，b₀，然后用梯度下降法不斷極小化目標函數式（1）。極小化的過程不是一次使M中所有誤分類點的梯度下降，而是一次隨機選取一個誤分類點使其梯度下降。

? ? ? ?損失函數L(w,b)的梯度是對w和b求偏導，即：

其中，（0<<=1）是學習率，即學習的步長。綜上，感知機學習算法如下：

? ? ? ??這種算法的基本思想是：當一個實例點被誤分類，即位于分類超平面錯誤的一側時，則調整w和b，使分類超平面向該誤分類點的一側移動，以減少該誤分類點與超平面的距離，直到超平面越過該誤分類點使其被正確分類為止。

? ? ? ?需要注意的是，這種感知機學習算法得到的模型參數不是唯一的，它會由于采用不同的參數初始值或選取不同的誤分類點，而導致解不同。為了得到唯一的分類超平面，需要對分類超平面增加約束條件，線性支持向量機就是這個想法。另外，當訓練數據集線性不可分時，感知機學習算法不收斂，迭代結果會發生震蕩。而對于線性可分的數據集，算法一定是收斂的，即經過有限次迭代，一定可以得到一個將數據集完全正確劃分的分類超平面及感知機模型。

? ? ? ?以上是感知機學習算法的原始形式，下面介紹感知機學習算法的對偶形式，對偶形式的基本想法是，將w和b表示為實例x_i和標記y_i的線性組合形式，通過求解其系數而求得w和b。對誤分類點（x_i, y_i）通過


所以，感知機學習算法的對偶形式如下：

筆記來源于《統計學習方法》——李航著

總結

以上是生活随笔為你收集整理的统计学习笔记（2）——感知机模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。