這一章就講了感知機。我覺得是深受工業革命的影響，把一些可以實現功能的基本單元都喜歡叫做什么機，這里的感知機，還有后來的以感知機為基礎的支持向量機。直接看定義，看本質，實際上，感知機是一種線性分類模型。下面就以這句話為中心仔細闡述一下。

什么叫線性。

線性liner，正如其名，兩個變量的關系的函數是一條直線，那它們就是線性關系，擴展到三維，一個平面依然是一次方程，所以平面也行線性的。線性有兩個性質：可加性f(x+y)=f(x)+f(y)；齊次性f(ax)=af(x).這兩個性質的好處就是可以化整為零，各個擊破；可以以小見大。通信中的放大器就很怕出現非線性失真，通信中研究的系統也多是線性時不變系統。事實上，自然界中的信號幾乎都是連續的，問題也多是非線性的，只是我們在解決問題的時候都轉換為簡單問題。線性劃分，簡單來說就是通過直線或者超平面將數據進行劃分。典型的線性分類器有感知機，LDA，邏輯斯特回歸，SVM（線性核）；

典型的非線性分類器有樸素貝葉斯（有文章說這個本質是線性的，http://dataunion.org/12344.html），kNN，決策樹，SVM（非線性核）

什么叫分類。

之前博客中提到，機器學習的任務就是預測和分析數據，而當輸出變量為有限離散變量時就是一種特殊的問題，我們預測數據屬于哪一類，這就是分類問題。分類問題又可分為二分類問題和多分類問題。感知機是一種二分類的分類器。

什么叫模型。

既然知道了新數據的分類情況只能是二選一，那么我們就要定義分類的條件就是模型。而根據分類器對數據進行硬判決還是軟判決，可以分為感知器模型和邏輯回歸模型。前者對數據一刀切，非黑即白，具體用符號函數sign()實現，屬于判別模型。后者將分類問題看作概率問題，像天氣預報一樣，多大的概率會下雨，多大的機會不下雨。

三要素

感知機算是一種簡單的機器學習，機器學習三要素：模型、策略、算法。所以我們再看一下感知機的策略。很自然地，對平面上的兩類點，首先我們當然希望能有一個直線將他們完全正確地隔在直線的兩邊。可以達到這個目的的直線有很多，我們當然希望從中挑選一個最好的。我們選擇誤分類點到平面S的總距離作為損失函數（連續可導），目標是將損失函數最小化。具體確定超平面還需要具體的算法，我們選擇隨機梯度下降法SGD（Stochastic Gradient Descent）。隨機的意思是在誤分類點中隨機選擇一個點，然后計算它的損失函數的梯度，梯度是下降最快的方向，在這個方向上迭代可以盡快找到使損失函數最小的點。決定了方向，還涉及到每次更新的幅度，這就是步長，也叫學習率（learning rate），lr太大的話容易越過最優點，太小又會導致收斂太慢。

感知機學習的算法又分為原始形式和對偶形式。在對偶形式中，把原來函數sign(wx+b)中的w和b看作是實例x和標記y的線性組合。實質與原始形式一樣，只不過因為函數形式變為線性組合，在判斷是否是誤分類點時可以使用內積，即Gram矩陣。在上一篇博客的python代碼中也出現了這個矩陣，用于計算feature map的內積。

最后需要說明的是，可以證明算法是收斂的，但是最后的結果卻依賴于誤分類點的選擇順序。為了得到唯一的超平面，需要我們對分離超平面增加約束條件，這也就是線性支持向量機SVM的由來。SVM也有對偶性，是面試官喜聞樂見的問題。這里先簡單說兩句SVM。支持向量機有兩個特點，一是支持向量，一個是核函數。支持向量指只有超平面附近的點對結果影響大。核函數的引入使得SVM可以解決低維空間的線性不可分的問題，學習非線性支持向量機，其實是在高維空間隱式地學習線性支持向量機。

在習題部分，Minsky和Papert指出，感知機等線性模型不能表示復雜函數如異或XOR。其實就是要說明異或不是線性可分的。

Reference：

1.??????https://zhuanlan.zhihu.com/p/30596284

2.??????https://zhuanlan.zhihu.com/p/21301974

3.? https://blog.csdn.net/u014755493/article/details/70182532

4.? https://blog.csdn.net/yangfeisc/article/details/45486067

?

?

總結

以上是生活随笔為你收集整理的李航《统计学习方法》---感知机的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。