紅色石頭的個人網站：redstonewill.com

上節課我們主要介紹了線性支持向量機（Linear Support Vector Machine）。Linear SVM的目標是找出最“胖”的分割線進行正負類的分離，方法是使用二次規劃來求出分類線。本節課將從另一個方面入手，研究對偶支持向量機（Dual Support Vector Machine），嘗試從新的角度計算得出分類線，推廣SVM的應用范圍。

Motivation of Dual SVM

首先，我們回顧一下，對于非線性SVM，我們通常可以使用非線性變換將變量從x域轉換到z域中。然后，在z域中，根據上一節課的內容，使用線性SVM解決問題即可。上一節課我們說過，使用SVM得到large-margin，減少了有效的VC Dimension，限制了模型復雜度；另一方面，使用特征轉換，目的是讓模型更復雜，減小EinEin。所以說，非線性SVM是把這兩者目的結合起來，平衡這兩者的關系。那么，特征轉換下，求解QP問題在z域中的維度設為d^+1d^+1，如果模型越復雜，則d^+1d^+1越大，相應求解這個QP問題也變得很困難。當d^d^無限大的時候，問題將會變得難以求解，那么有沒有什么辦法可以解決這個問題呢？一種方法就是使SVM的求解過程不依賴d^d^，這就是我們本節課所要討論的主要內容。

比較一下，我們上一節課所講的Original SVM二次規劃問題的變量個數是d^+1d^+1，有N個限制條件；而本節課，我們把問題轉化為對偶問題（’Equivalent’ SVM），同樣是二次規劃，只不過變量個數變成N個，有N+1個限制條件。這種對偶SVM的好處就是問題只跟N有關，與d^d^無關，這樣就不存在上文提到的當d^d^無限大時難以求解的情況。

如何把問題轉化為對偶問題（’Equivalent’ SVM），其中的數學推導非常復雜，本文不做詳細數學論證，但是會從概念和原理上進行簡單的推導。

還記得我們在《機器學習基石》課程中介紹的Regularization中，在最小化EinEin的過程中，也添加了限制條件：wTw≤CwTw≤C。我們的求解方法是引入拉格朗日因子λλ，將有條件的最小化問題轉換為無條件的最小化問題：min?Eaug(w)=Ein(w)+λNwTwminEaug(w)=Ein(w)+λNwTw，最終得到的w的最優化解為：

?Ein(w)+2λNw=0?Ein(w)+2λNw=0

所以，在regularization問題中，λλ是已知常量，求解過程變得容易。那么，對于dual SVM問題，同樣可以引入λλ，將條件問題轉換為非條件問題，只不過λλ是未知參數，且個數是N，需要對其進行求解。

如何將條件問題轉換為非條件問題？上一節課我們介紹的SVM中，目標是：min?12wTwmin12wTw，條件是：yn(wTzn+b)≥1,?for?n=1,2,?,Nyn(wTzn+b)≥1,forn=1,2,?,N。首先，我們令拉格朗日因子為αnαn（區別于regularization），構造一個函數：

L(b,w,α)=12wTw+∑n=1Nαn(1?yn(wTzn+b))L(b,w,α)=12wTw+∑n=1Nαn(1?yn(wTzn+b))

這個函數右邊第一項是SVM的目標，第二項是SVM的條件和拉格朗日因子αnαn的乘積。我們把這個函數稱為拉格朗日函數，其中包含三個參數：b，w，αnαn。

下面，我們利用拉格朗日函數，把SVM構造成一個非條件問題：

該最小化問題中包含了最大化問題，怎么解釋呢？首先我們規定拉格朗日因子αn≥0αn≥0，根據SVM的限定條件可得：(1?yn(wTzn+b))≤0(1?yn(wTzn+b))≤0，如果沒有達到最優解，即有不滿足(1?yn(wTzn+b))≤0(1?yn(wTzn+b))≤0的情況，因為αn≥0αn≥0，那么必然有∑nαn(1?yn(wTzn+b))≥0∑nαn(1?yn(wTzn+b))≥0。對于這種大于零的情況，其最大值是無解的。如果對于所有的點，均滿足(1?yn(wTzn+b))≤0(1?yn(wTzn+b))≤0，那么必然有∑nαn(1?yn(wTzn+b))≤0∑nαn(1?yn(wTzn+b))≤0，則當∑nαn(1?yn(wTzn+b))=0∑nαn(1?yn(wTzn+b))=0時，其有最大值，最大值就是我們SVM的目標：12wTw12wTw。因此，這種轉化為非條件的SVM構造函數的形式是可行的。

Lagrange Dual SVM

現在，我們已經將SVM問題轉化為與拉格朗日因子αnαn有關的最大最小值形式。已知αn≥0αn≥0，那么對于任何固定的α′α′，且α′n≥0αn′≥0，一定有如下不等式成立：

對上述不等式右邊取最大值，不等式同樣成立：

上述不等式表明，我們對SVM的min和max做了對調，滿足這樣的關系，這叫做Lagrange dual problem。不等式右邊是SVM問題的下界，我們接下來的目的就是求出這個下界。

已知≥≥是一種弱對偶關系，在二次規劃QP問題中，如果滿足以下三個條件：

• 函數是凸的（convex primal）

• 函數有解（feasible primal）

• 條件是線性的（linear constraints）

那么，上述不等式關系就變成強對偶關系，≥≥變成=，即一定存在滿足條件的解(b,w,α)(b,w,α)，使等式左邊和右邊都成立，SVM的解就轉化為右邊的形式。

經過推導，SVM對偶問題的解已經轉化為無條件形式：

其中，上式括號里面的是對拉格朗日函數L(b,w,α)L(b,w,α)計算最小值。那么根據梯度下降算法思想：最小值位置滿足梯度為零。首先，令L(b,w,α)L(b,w,α)對參數b的梯度為零：

?L(b,w,α)?b=0=?∑n=1Nαnyn?L(b,w,α)?b=0=?∑n=1Nαnyn

也就是說，最優解一定滿足∑Nn=1αnyn=0∑n=1Nαnyn=0。那么，我們把這個條件代入計算max條件中（與αn≥0αn≥0同為條件），并進行化簡：

這樣，SVM表達式消去了b，問題化簡了一些。然后，再根據最小值思想，令L(b,w,α)L(b,w,α)對參數w的梯度為零：

?L(b,w,α?w=0=w?∑n=1Nαnynzn?L(b,w,α?w=0=w?∑n=1Nαnynzn

即得到：

w=∑n=1Nαnynznw=∑n=1Nαnynzn

也就是說，最優解一定滿足w=∑Nn=1αnynznw=∑n=1Nαnynzn。那么，同樣我們把這個條件代入并進行化簡：

這樣，SVM表達式消去了w，問題更加簡化了。這時候的條件有3個：

• all αn≥0αn≥0

• ∑Nn=1αnyn=0∑n=1Nαnyn=0

• w=∑Nn=1αnynznw=∑n=1Nαnynzn

SVM簡化為只有αnαn的最佳化問題，即計算滿足上述三個條件下，函數?12||∑Nn=1αnynzn||2+∑Nn=1αn?12||∑n=1Nαnynzn||2+∑n=1Nαn最小值時對應的αnαn是多少。

總結一下，SVM最佳化形式轉化為只與αnαn有關：

其中，滿足最佳化的條件稱之為Karush-Kuhn-Tucker(KKT)：

在下一部分中，我們將利用KKT條件來計算最優化問題中的αα，進而得到b和w。

Solving Dual SVM

上面我們已經得到了dual SVM的簡化版了，接下來，我們繼續對它進行一些優化。首先，將max問題轉化為min問題，再做一些條件整理和推導，得到：

顯然，這是一個convex的QP問題，且有N個變量αnαn，限制條件有N+1個。則根據上一節課講的QP解法，找到Q，p，A，c對應的值，用軟件工具包進行求解即可。

求解過程很清晰，但是值得注意的是，qn,m=ynymzTnzmqn,m=ynymznTzm，大部分值是非零的，稱為dense。當N很大的時候，例如N=30000，那么對應的QDQD的計算量將會很大，存儲空間也很大。所以一般情況下，對dual SVM問題的矩陣QDQD，需要使用一些特殊的方法，這部分內容就不再贅述了。

得到αnαn之后，再根據之前的KKT條件，就可以計算出w和b了。首先利用條件w=∑αnynznw=∑αnynzn得到w，然后利用條件αn(1?yn(wTzn+b))=0αn(1?yn(wTzn+b))=0，取任一αn≠0αn≠0即αnαn>0的點，得到1?yn(wTzn+b)=01?yn(wTzn+b)=0，進而求得b=yn?wTznb=yn?wTzn。

值得注意的是，計算b值，αnαn>0時，有yn(wTzn+b)=1yn(wTzn+b)=1成立。yn(wTzn+b)=1yn(wTzn+b)=1正好表示的是該點在SVM分類線上，即fat boundary。也就是說，滿足αnαn>0的點一定落在fat boundary上，這些點就是Support Vector。這是一個非常有趣的特性。

Messages behind Dual SVM

回憶一下，上一節課中，我們把位于分類線邊界上的點稱為support vector（candidates）。本節課前面介紹了αnαn>0的點一定落在分類線邊界上，這些點稱之為support vector（注意沒有candidates）。也就是說分類線上的點不一定都是支持向量，但是滿足αnαn>0的點，一定是支持向量。

SV只由αnαn>0的點決定，根據上一部分推導的w和b的計算公式，我們發現，w和b僅由SV即αnαn>0的點決定，簡化了計算量。這跟我們上一節課介紹的分類線只由“胖”邊界上的點所決定是一個道理。也就是說，樣本點可以分成兩類：一類是support vectors，通過support vectors可以求得fattest hyperplane；另一類不是support vectors，對我們求得fattest hyperplane沒有影響。

回過頭來，我們來比較一下SVM和PLA的w公式：

我們發現，二者在形式上是相似的。wSVMwSVM由fattest hyperplane邊界上所有的SV決定，wPLAwPLA由所有當前分類錯誤的點決定。wSVMwSVM和wPLAwPLA都是原始數據點ynznynzn的線性組合形式，是原始數據的代表。

總結一下，本節課和上節課主要介紹了兩種形式的SVM，一種是Primal Hard-Margin SVM，另一種是Dual Hard_Margin SVM。Primal Hard-Margin SVM有d^+1d^+1個參數，有N個限制條件。當d^+1d^+1很大時，求解困難。而Dual Hard_Margin SVM有N個參數，有N+1個限制條件。當數據量N很大時，也同樣會增大計算難度。兩種形式都能得到w和b，求得fattest hyperplane。通常情況下，如果N不是很大，一般使用Dual SVM來解決問題。

這節課提出的Dual SVM的目的是為了避免計算過程中對d^d^的依賴，而只與N有關。但是，Dual SVM是否真的消除了對d^d^的依賴呢？其實并沒有。因為在計算qn,m=ynymzTnzmqn,m=ynymznTzm的過程中，由z向量引入了d^d^，實際上復雜度已經隱藏在計算過程中了。所以，我們的目標并沒有實現。下一節課我們將繼續研究探討如何消除對d^d^的依賴。

總結

本節課主要介紹了SVM的另一種形式：Dual SVM。我們這樣做的出發點是為了移除計算過程對d^d^的依賴。Dual SVM的推導過程是通過引入拉格朗日因子αα，將SVM轉化為新的非條件形式。然后，利用QP，得到最佳解的拉格朗日因子αα。再通過KKT條件，計算得到對應的w和b。最終求得fattest hyperplane。下一節課，我們將解決Dual SVM計算過程中對d^d^的依賴問題。

注明：

文章中所有的圖片均來自臺灣大學林軒田《機器學習技法》課程

更多AI資源請關注公眾號：紅色石頭的機器學習之路（ID：redstonewill）

總結

以上是生活随笔為你收集整理的台湾大学林轩田机器学习技法课程学习笔记2 -- Dual Support Vector Machine的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。