SVM壓制了神經網絡好多年，如果不考慮集成學習算法，不考慮特定的訓練集，在分類算法中SVM表現排第一。

　　SVM是一個二元分類算法。

　　SVM學習策略：間隔最大化，可形式化為一個求解凸二次規劃問題。

　　間隔最大化使它有別于感知機。

　　SVM包括核技巧，使它成為非線性分類器。

　　支持向量機模型包括：線性可分支持向量機、線性支持向量機、非線性支持向量機。當訓練集線性可分，通過硬間隔最大化學習的線性分類器為線性可分支持向量機，又稱硬間隔支持向量機；通過軟間隔最大化學習的線性分類器為線性支持向量機，又稱軟間隔支持向量機；當訓練及線性不可分，通過核技巧及軟間隔最大化學習的稱為非線性支持向量機。

1. 回顧感知機模型

　　在感知機原理中，在二維就是找到一條直線，在三維或者更高維就是找到一個超平面，將所有二元類別分開。這個超平面定義為：w^Tx+b=0。如圖，在超平面w^Tx+b=0上方定義y=1，在超平面下方定義y=-1?？梢钥闯鰸M足這個超平面的不止一個。我們嘗試找到最好的。

　　感知機損失函數優化的思想：讓所有誤分類點(定義為M)到超平面的距離之和最小，即下面式子的最小化：

　　當w和b擴大N倍，分母L2范數也會擴大N倍。也就是分子，分母有倍數關系。所以可以固定分子或分母為1，然后求分母倒數或另一個分子最小化作為損失函數。感知機模型中，固定分母||w||₂=1，則感知機損失函數簡化為：

?

2. 函數間隔與集合間隔

　　超平面為w^Tx+b=0，|w^Tx+b|為點x到超平面的相對距離。當w^Tx+b與y同號，分類正確，否則，分類不正確。這里引入函數間隔的感念，定義函數間隔 γ^’為：

　　即函數間隔就是感知機模型中誤分類點到超平面距離的分子。對于訓練集中m個樣本點對應的m個函數間隔的最小值，就是整個訓練集的函數間隔。

　　函數間隔并不能正常反應點到超平面的距離，在感知機模型中，分子成比例增長，分母也增長。為了統一度量，對法向量w加上約束條件，得到幾何間隔γ為：

　　幾何間隔是點到超平面的真正距離，感知機模型里用到的距離就是幾何距離。

?

3. 支持向量

　　感知機利用誤分類最小的策略，求得分離超平面有無窮多個；線性可分支持向量機利用間隔最大化求得最優分離超平面只有一個。

　　如圖，線性可分支持向量機：決策邊界(實)，間隔邊界(虛)，支持向量(紅點)。

　　支持向量到超平面的距離為1/||w||₂，兩個支持向量之間的距離為2/||w||₂。

　　

4. SVM模型目標函數與優化

　　SVM模型：讓所有點到超平面的距離大于支持向量到超平面的距離。數學表達式：

　　一般取函數間隔r^‘(i)為1，表達式變為：

　　也就是說在約束條件下 y_i(w^Tx_i + 1)≥1 (i = 1,2,3...m)下，最大化1/||w||₂。可以看出，SVM是固定分子優化分母，同時加上支持向量的限制。

　　由于的最大化等同于最小化。所以SVM的優化函數等價于：

　　由于目標函數是凸函數，同時約束條件不等式是仿射的，根據凸優化理論，通過拉格朗日函數將優化目標轉化為無約束的優化函數，這和最大熵模型原理中講的目標函數優化方法一樣。優化函數轉化為：

　　由于引入拉格朗日乘子，優化目標變為：

　　和最大熵模型一樣，這個優化函數滿足KKT條件，可以通過拉格朗日對偶將優化問題轉化為等價的對偶問題。

　　

?

轉載于:https://www.cnblogs.com/keye/p/10633530.html

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的支持向量机原理（一）线性支持向量机的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。