解密SVM系列（二）：SVM的理論基礎(chǔ)? ? ?原文博主講解地太好了 ?收藏下

解密SVM系列（三）：SMO算法原理與實戰(zhàn)求解

支持向量機(jī)通俗導(dǎo)論（理解SVM的三層境界）

上節(jié)我們探討了關(guān)于拉格朗日乘子和KKT條件，這為后面SVM求解奠定基礎(chǔ)，本節(jié)希望通俗的細(xì)說一下原理部分。

一個簡單的二分類問題如下圖：?
?
我們希望找到一個決策面使得兩類分開，這個決策面一般表示就是WTX+b=0,現(xiàn)在的問題是找到對應(yīng)的W和b使得分割最好，知道logistic分類?機(jī)器學(xué)習(xí)之logistic回歸與分類的可能知道，這里的問題和那里的一樣，也是找權(quán)值。在那里，我們是根據(jù)每一個樣本的輸出值與目標(biāo)值得誤差不斷的調(diào)整權(quán)值W和b來求得最終的解的。當(dāng)然這種求解最優(yōu)的方式只是其中的一種方式。那么SVM的求優(yōu)方式是怎樣的呢？

這里我們把問題反過來看，假設(shè)我們知道了結(jié)果，就是上面這樣的分類線對應(yīng)的權(quán)值W和b。那么我們會看到，在這兩個類里面，是不是總能找到離這個線最近的點，向下面這樣：?
?
然后定義一下離這個線最近的點到這個分界面（線）的距離分別為d1,d2。那么SVM找最優(yōu)權(quán)值的策略就是，先找到最邊上的點，再找到這兩個距離之和D，然后求解D的最大值，想想如果按照這個策略是不是可以實現(xiàn)最優(yōu)分類，是的。好了還是假設(shè)找到了這樣一個分界面WTX+b=0,那么做離它最近的兩類點且平行于分類面，如上面的虛線所示。好了再假設(shè)我們有這兩個虛線，那么真實的分界面我們認(rèn)為正好是這兩個分界面的中間線，這樣d1就等于d2了。因為真實的分界面為WTX+b=0，那么就把兩個虛線分別設(shè)置為WTX+b=1和WTX+b=?1可以看到虛線相對于真實面只是上下移動了1個單位距離，可能會說你怎么知道正好是一個距離？確實不知道，就假設(shè)上下是k個距離吧，那么假設(shè)上虛線現(xiàn)在為WTX+b=k，兩邊同時除k可以吧，這樣上虛線還是可以變成WT1X+b1=1,同理下虛線也可以這樣，然后他們的中線就是WT1X+b1=0吧，可以看到從k到1，權(quán)值無非從w變化到w1,b變到b1,我在讓w=w1,b=b1，不是又回到了起點嗎，也就是說，這個中間無非是一個倍數(shù)關(guān)系。所以我們只需要先確定使得上下等于1的距離，再去找這一組權(quán)值，這一組權(quán)值會自動變化到一定倍數(shù)使得距離為1的。

好了再看看D=d1+d2怎么求吧，假設(shè)分界面WTX+b=0，再假設(shè)X是兩維的，那么分界面再細(xì)寫出來就是：w1x1+w2x2+b=0。上分界線：w1x1+w2x2+b=1，這是什么，兩條一次函數(shù)（y=kx+b）的曲線是不是，那么初中就學(xué)過兩直線的距離吧，d=|c2?c1|w21+w22???????√=1||W||

這里W=(w1,w2)，是個向量，||W||為向量的距離，那么||W||2=WTW。下界面同理。這樣D=d1+d2=2||W||=2WTW?????√等效2WTW,要使D最大，就要使分母最小，這樣優(yōu)化問題就變?yōu)?span id="ozvdkddzhkzd" class="MathJax_Preview">min(12WTW),乘一個系數(shù)0.5沒影響，但是在后面卻有用。

我們知道，如果一個一次函數(shù)分界面為WTX+b=0，那么線上方的x可以使得WTX+b>0,下方的x可以使得WTX+b<0吧，那么對于上界面以上的點就有WTX+b>1，下界面以下的點就有WTX+b<?1。我們現(xiàn)在再假設(shè)上界面以上的點的分類標(biāo)簽為1，下界面以下的點的分類標(biāo)簽為-1。那么這兩個不等式再分別乘以他們的標(biāo)簽會怎么樣？是不是可以統(tǒng)一為yi(WTxi+b)≥1了（這也是為什么SVM在使用之前為什么要把兩類標(biāo)簽設(shè)置為+1，-1，而不是0,1等等之類的了）。好了假設(shè)分界面一旦確定，是不是所有點都得滿足這個關(guān)系。那么最終的帶約束的優(yōu)化問題轉(zhuǎn)化為：?

min12WTWs.t.yi(Wxi+b)≥1

把約束條件換成小于號的形式：

s.t.1?yi(Wxi+b)≤0

注意的是這可不是一個約束條件，而是對所有的每個樣本xi都有一個這樣的約束條件。?
轉(zhuǎn)換到這種形式以后是不是很像上節(jié)說到的KKT條件下的優(yōu)化問題了，就是這個。但是有一個問題，我們說上節(jié)的KKT是在凸函數(shù)下使用的，那么這里的目標(biāo)函數(shù)是不是呢？答案是的，想想WT?W，函數(shù)乘出來應(yīng)該很單一，不能有很多極點，當(dāng)然也也可以數(shù)學(xué)證明是的。

?

好了那樣的話就可以引入拉格朗日乘子法了，優(yōu)化的目標(biāo)變?yōu)?#xff1a;?

L(w,b,α)=12wTw+α1h1(x)+...+αnhn(x)=12wTw?α1[y1(wx1+b)?1]?...?αn[yn(wxn+b)?1]=12wTw?∑i=1Nαiyi(wxi+b)+∑i=1Nαi

然后要求這個目標(biāo)函數(shù)最優(yōu)解，求導(dǎo)吧，?

?L?w=w?∑i=1Nαiyixi=0?w=∑i=1Nαiyixi?L?b=?∑i=1Nαiyi=0?∑i=1Nαiyi=0

這兩個公式非常重要，簡直是核心公式。?
求導(dǎo)得到這個應(yīng)該很簡單吧，那我問你為什么WTW對w求導(dǎo)是w呢？如果你知道，那么你很厲害了，反正開始我是一直沒轉(zhuǎn)過來。其實說起來也很簡單，如果光去看看為什么求導(dǎo)以后，轉(zhuǎn)置就沒了，不太好想明白，設(shè)想一下假設(shè)現(xiàn)在是二維樣本點，也就是最終的W=(w1,w2)，那么WTW=w1?w1+w2?w2那么對w1求導(dǎo)就是2w1,對w2就是2w2,這樣寫在一起就是對w求導(dǎo)得到(2w1,2w2)=2w了，然后乘前面一個1/2（這也就是為什么要加一個1/2），就變成w了。

?

好了得到上面的兩個公式，再帶回L中把去w和b消掉，你又可能發(fā)現(xiàn)，w確實可以消，因為有等式關(guān)系，那b怎么辦？上述對b求導(dǎo)的結(jié)果竟然不含有b，上天在開玩笑嗎？其實沒有，雖然沒有b，但是有那個求和為0呀，帶進(jìn)去你會驚人的發(fā)現(xiàn)，b還真的可以消掉，就是因為了那個等式。簡單帶下：?

W(α)=L(w,b,α)=12(∑i=1Nαiyixi)T(∑j=1Nαjyjxj)?∑i=1Nαiyi((∑i=1Nαiyixi)xi+b)+∑i=1Nαi=12(∑i,j=1Nαiyiαjyjxi?xj)?∑i,j=1Nαiyiαjyjxi?xj+b∑i=1Nαiyi+∑i=1Nαi=?12(∑i,

轉(zhuǎn)載于:https://www.cnblogs.com/Vae1990Silence/p/8393103.html

總結(jié)

以上是生活随笔為你收集整理的解密SVM系列（二）：SVM的理论基础(转载)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。