AI有道

一個有情懷的公眾號

1

Soft-Margin SVM as Regularized Model

先復習一下我們已經介紹過的內容，我們最早開始講了Hard-Margin Primal的數學表達式，然后推導了Hard-Margin Dual形式。后來，為了允許有錯誤點的存在（或者noise），也為了避免模型過于復雜化，造成過擬合，我們建立了Soft-Margin Primal的數學表達式，并引入了新的參數C作為權衡因子，然后也推導了其Soft-Margin Dual形式。因為Soft-Margin Dual SVM更加靈活、便于調整參數，所以在實際應用中，使用Soft-Margin Dual SVM來解決分類問題的情況更多一些。

Soft-Margin Dual SVM有兩個應用非常廣泛的工具包，分別是Libsvm和Liblinear。 Libsvm和Liblinear都是國立臺灣大學的Chih-Jen Lin博士開發的，Chih-Jen Lin的個人網站為：https://www.csie.ntu.edu.tw/~cjlin/index.html。

下面我們再來回顧一下Soft-Margin SVM的主要內容。我們的出發點是用ξn來表示margin violation，即犯錯值的大小，沒有犯錯對應的ξn=0。然后將有條件問題轉化為對偶dual形式，使用QP來得到最佳化的解。

經過這種轉換之后，表征犯錯誤值大小的變量ξn就被消去了，轉而由一個max操作代替。

為什么要將把Soft-Margin SVM轉換為這種unconstrained form呢？我們再來看一下轉換后的形式，其中包含兩項，第一項是w的內積，第二項關于y和w，b，z的表達式，似乎有點像一種錯誤估計err^，則類似這樣的形式：

看到這樣的形式我們應該很熟悉，因為之前介紹的L2 Regularization中最優化問題的表達式跟這個是類似的：

這里提一下，既然unconstrained form SVM與L2 Regularization的形式是一致的，而且L2 Regularization的解法我們之前也介紹過，那么為什么不直接利用這種方法來解決unconstrained form SVM的問題呢？有兩個原因。一個是這種無條件的最優化問題無法通過QP解決，即對偶推導和kernel都無法使用；另一個是這種形式中包含的max()項可能造成函數并不是處處可導，這種情況難以用微分方法解決。

而對于Soft-Margin SVM來說，條件和最優化問題結合起來，整體形式寫成：

通過對比，我們發現L2 Regularization和Soft-Margin SVM的形式是相同的，兩個式子分別包含了參數λ和C。Soft-Margin SVM中的large margin對應著L2 Regularization中的short w，也就是都讓hyperplanes更簡單一些。我們使用特別的err^來代表可以容忍犯錯誤的程度，即soft margin。L2 Regularization中的λλ和Soft-Margin SVM中的C也是相互對應的，λ越大，w會越小，Regularization的程度就越大；C越小，Ein^會越大，相應的margin就越大。所以說增大C，或者減小λ，效果是一致的，Large-Margin等同于Regularization，都起到了防止過擬合的作用。

建立了Regularization和Soft-Margin SVM的關系，接下來我們將嘗試看看是否能把SVM作為一個regularized的模型進行擴展，來解決其它一些問題。

2

SVM versus Logistic Regression

上一小節，我們已經把Soft-Margin SVM轉換成無條件的形式：

至此，可以看出，求解regularized logistic regression的問題等同于求解soft-margin SVM的問題。反過來，如果我們求解了一個soft-margin SVM的問題，那這個解能否直接為regularized logistic regression所用？來預測結果是正類的幾率是多少，就像regularized logistic regression做的一樣。我們下一小節將來解答這個問題。

3

SVM for Soft Binary Classification

接下來，我們探討如何將SVM的結果應用在Soft Binary Classification中，得到是正類的概率值。

這兩種方法都沒有融合SVM和logistic regression各自的優勢，下面構造一個模型，融合了二者的優勢。構造的模型g(x)表達式為：

那么，新的logistic regression表達式為：

這種soft binary classifier方法得到的結果跟直接使用SVM classifier得到的結果可能不一樣，這是因為我們引入了系數A和B。一般來說，soft binary classifier效果更好。至于logistic regression的解法，可以選擇GD、SGD等等。

4

Kernel Logistic Regression

上一小節我們介紹的是通過kernel SVM在z空間中求得logistic regression的近似解。如果我們希望直接在z空間中直接求解logistic regression，通過引入kernel，來解決最優化問題，又該怎么做呢？SVM中使用kernel，轉化為QP問題，進行求解，但是logistic regression卻不是個QP問題，看似好像沒有辦法利用kernel來解決。

我們之前介紹過SVM、PLA包擴logistic regression都可以表示成z的線性組合，這也提供了一種可能，就是將kernel應用到這些問題中去，簡化z空間的計算難度。

經過證明和分析，我們得到了結論是任何L2-regularized linear model都可以使用kernel來解決。

上式中，所有的w項都換成βn來表示了，變成了沒有條件限制的最優化問題。我們把這種問題稱為kernel logistic regression，即引入kernel，將求w的問題轉換為求βn的問題。

從另外一個角度來看Kernel Logistic Regression（KLR）：

值得一提的是，KLR中的βn與SVM中的αn是有區別的。SVM中的αn大部分為零，SV的個數通常是比較少的；而KLR中的βn通常都是非零值。

往期回顧

【1】線性支持向量機（LSVM）

【2】對偶支持向量機（DSVM）

【3】核支持向量機（KSVM）

【4】Soft-Margin支持向量機（SSVM）

【5】干貨 | 吳恩達deeplearning.ai專項課程歷史文章匯總

【6】簡單的梯度下降算法，你真的懂了嗎？

【7】重磅 | 吳恩達新書《Machine Learning Yearning》最新版分享

【8】力薦 | 臺大林軒田《機器學習基石》資源匯總

【9】重磅 | “吳恩達deeplearningai”官方微信公眾號已經上線！

長按二維碼

掃描關注

喜歡就點個贊吧！
點擊 | 閱讀原文| 獲取更多干貨內容

總結

以上是生活随笔為你收集整理的逻辑回归还能这样解？关于Kernel Logistic Regression的详细解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。