在線性可分的情況下，優(yōu)化問題是有解的；在線性不可分的情況下，優(yōu)化問題是沒有解的。即不存在滿足N個(gè)限制條件（限制條件是在線性可分的情況下滿足的）；而對(duì)于線性不可分的情況，我們需要適當(dāng)?shù)姆潘上拗茥l件，使得最優(yōu)化問題變得有解。

放松限制條件的基本思路：

（1）對(duì)于每一個(gè)訓(xùn)練樣本及標(biāo)簽，我們需要設(shè)置一個(gè)松弛變量(slack variable)，這樣可以把上邊不等式的限制條件放松為；因?yàn)樵诰€性不可分的情況下，我們沒有可能讓所有的，因此我們引入松弛變量作用到不等式的右邊。可以看到只要取的足夠大，那N個(gè)不等式的限制條件是一定可以成立的，而且我們還得加入一些新的限制，阻止每個(gè)無限的擴(kuò)大，讓他限定在一個(gè)合理的范圍之內(nèi)。

------最終改造后的支持向量機(jī)最優(yōu)化的版本是如下：

可以看出不止限制條件發(fā)生了改變，目標(biāo)函數(shù)也增加了所有的總和。因此我們不僅要越小越好，同時(shí)我們也要讓所有的和越小越好。因此這里比例因子C起到了平衡兩項(xiàng)的關(guān)鍵作用。此處的平衡兩項(xiàng)的比例因子C是人為設(shè)定的；（把一個(gè)算法中需要事先人為設(shè)定的參數(shù)，叫做算法的超參數(shù)hyper parameter），一般在實(shí)際的應(yīng)用中會(huì)不斷的變化C的值，同時(shí)對(duì)于每一個(gè)C我們要測(cè)試算法的識(shí)別率，然后選取使識(shí)別率達(dá)到最大的此時(shí)對(duì)應(yīng)的超參數(shù)C的值。所以一個(gè)算法的超參數(shù)越多，也就意味著算法需要手動(dòng)調(diào)整的超參數(shù)越多，這樣算法的自動(dòng)性也會(huì)降低。（支持向量機(jī)已經(jīng)是超參數(shù)很少的算法模型）

PS上述兩種目標(biāo)函數(shù)的形式都可以，可以看出他們都是凸優(yōu)化的問題，都可以被求解。

如下圖是在線性不可分的情況下，使用的目標(biāo)函數(shù)，以及結(jié)果展示：

（即在線性不可分的情況下，應(yīng)用支持向量機(jī)）

從圖中可以看出，超平面和線性可分情況保持基本一致。可以看出這個(gè)分類面分開了大部分的圓圈和叉，但是并未達(dá)到要求解的目的；

此時(shí)你是否在想有了有了線性不可分情況下的支持向量機(jī)算法，我們似乎可以解決一切二分類的問題了；哈哈這只是你個(gè)人的錯(cuò)覺，如果SVM只是做到這樣，那她就不會(huì)成為經(jīng)典的算法了。

比如在上圖中，所有的圓圈在里邊，所有的叉叉包括在外邊，這里支持向量機(jī)求出來的解，所有的參數(shù)和之前線性可分是一樣的，雖然支持向量機(jī)求出來了一個(gè)超平面，但是這個(gè)解遠(yuǎn)遠(yuǎn)不能如意，他將將近一半的訓(xùn)練樣本分錯(cuò)了，問題就在于我們的算法模型是線性的，也就是說我們假設(shè)分開兩類的函數(shù)是直線或者超平面，我們是在一組直線和超平面中選擇最適合分開這兩類數(shù)據(jù)的直線或者超平面，但是線性模型的表現(xiàn)力是不夠的，我們可以想象到能夠分開這兩類的是某種曲面，例如橢圓而不是直線，如果你非要堅(jiān)持使用直線分開這兩類，那么無論你怎么取這條直線結(jié)果都是不好的。所以我們只能選擇擴(kuò)大可選函數(shù)的范圍，使它超越線性才有可能應(yīng)對(duì)各種復(fù)雜的線性不可分的情況。

支持向量機(jī)如何擴(kuò)大可選函數(shù)的范圍呢？從而提高非線性可分處理的能力。

支持向量機(jī)如何擴(kuò)大可選函數(shù)的范圍呢？見鏈接：

PS：思考：上圖中我們說了可以使用橢圓來分開圓圈和叉；另一個(gè)方面我們也可以對(duì)特征空間的兩個(gè)維度做某種非線性變換，從而把本來線性不可分的訓(xùn)練樣本集，變?yōu)榫€性可分。所以在這個(gè)例子當(dāng)中能否設(shè)計(jì)出一個(gè)這樣的非線性變換，將這個(gè)分類問題轉(zhuǎn)化為線性可分？

答：我們是不是可以將這個(gè)二維的空間映射到高維度空間中呢。這樣就能將圓圈和叉叉使用線性分類分開。（因?yàn)槠渌乃惴?#xff0c;如人工神經(jīng)絡(luò)、決策樹等等采用的是直接產(chǎn)生更多可選函數(shù)的方式，例如在人工神經(jīng)網(wǎng)絡(luò)中通過多層非線性函數(shù)的組合，能夠產(chǎn)生類似于橢圓這樣的曲線，從而分開上一節(jié)圖中的圓圈和叉。但是支持向量機(jī)而不是直接產(chǎn)生這樣的函數(shù)，而是通過將特征空間由低維映射到高維，然后在高維的特征空間中仍然用線性超平面對(duì)數(shù)據(jù)進(jìn)行分類。PS：所以支持向量機(jī)最終使用的還是線性分類器。）

?

總結(jié)

以上是生活随笔為你收集整理的机器学习中的算法（4.3）：SVM----针对线性不可分问题理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。