1、支持向量回歸的原始問題

先來看看SVM線性支持向量機(軟間隔)的原始問題：

其中ξ_i是松弛變量，但它實際上是hinge(合頁)損失函數，所以ξ_i也作為對應的點(x_i, y_i)的損失，如下圖所示：

當點(x_i, y_i)位于間隔面上或者間隔面之外(這兩種都是正確分類的情況)則ξ_i=0，若點(x_i, y_i)位于分割面上或者位于間隔面與分割面之間(正確分類)或者位于間隔面與分割面之間(錯誤分類)，這三種情況都是有損失的，損失為 1 – y_i(w·x_i + b)。

SVM線性支持向量機(軟間隔)的原始問題等價于如下問題：

好了現在來看SVR的原始問題：
如上圖所示，SVR需要學到一個最大間隔(幾何間隔)的回歸面或回歸線，ε代表精度，在2ε間隔之內的點和間隔面上的點離回歸面最近，所以認為這些點的預測結果比較可靠，是沒有損失的，而2ε間隔之外的點離回歸面較遠，所以認為這些點的預測結果不太可靠，是有損失的。而敏感度損失函數剛好就能用來計算每個點的損失，如下圖所示：

其中w·x_i+b代表預測值，y_i是實際值，|w·x_i+b – y_i|表示誤差絕對值，如果點(x_i, y_i)的預測誤差絕對值小于等于ε，則ξ_i=0，ξ_i代表損失；如果點(x_i, y_i)的預測誤差絕對值大于ε，則ξ_i= |w·x_i+b – y_i| – ε。
綜上所述得出SVR的原始約束問題：

其中約束條件的意義就是讓所有的點(x_i, y_i)都滿足敏感度損失函數，也就是讓 ξ_i 能足夠代替點(x_i, y_I)的損失，因為ξ_i 始終大于等于該點的預測誤差絕對值減去ε。

SVR目標表達式的解釋：
這里附上一點自己的理解，不對的地方歡迎指證。將上述SVR的目標表達式分兩部分來分析，先看后半部分的懲罰項，它的最小化使得訓練集中絕大多數的點都位于精度為|ε|的間隔面內；再來看前半部分的1/2||w||² ，它的最小化是為了幾何間隔最大化，而幾何間隔最大化保證了間隔面內的絕大部分y為正的點會預測為正的，y為負的點會預測為負的。綜上所述，懲罰項控制預測的精度，幾何間隔控制預測的正負號，所以該目標表達式最小化的解w^*和b^*將是最優的回歸線。

根據硬間隔SVM和軟間隔SVM的知識，我們知道SVM的原始問題最終都轉換為求其對偶問題，所以SVR也不例外。因為SVR原始問題的不等式約束不是凸函數，所以該不等式約束需要轉換一下，如下：
|w·x_i+b – y_i| – ε <= ξ_i 等價于 -ε – ξ_i <= w·x_i+b – y_i <= ε + ξ_i ，其中 -ε – ξ_i <= w·x_i+b – y_i 即 y_i – w·x_i+b <= ε + ξ_i 代表上圖中回歸面(藍色線)的下方區域，當點(x_i, y_i)位于回歸面和下間隔面之間時，ξ_i =0，當點(x_i, y_i)位于下間隔面下方時ξ_i>0，這時 ξ_i 就代表回歸面下方區域中的點的損失，我們可以用ξ_i^v來代替它。同理-ε – ξ_i <= w·x_i+b – y_i <= ε + ξ_i 中的右側部分 w·x_i+b – y_i <= ε + ξ_i就可以看作上圖中回歸面(藍色線)的上方區域，當點(x_i, y_i)位于回歸面和上間隔面之間時，ξ_i =0，當點(x_i, y_i)位于上間隔面上方時ξ_i>0，這時 ξ_i 就代表回歸面上方區域中的點的損失，我們可以用ξ_i^ 來代替它。
令f(x_i) = w·x_i+b，我們最終得到SVR的原始問題如下：

2、支持向量回歸的對偶問題

先求原始問題的拉格朗日函數，再對拉格朗日函數求極大(對拉格朗日乘子)極小(對模型參數)問題就得到對偶問題。過程如下：
拉格朗日函數：

對拉格朗日函數求極大極小問題：
(1)先對拉格朗日函數求極小(對模型參數)
分別令L(w, b, α^v, α^ , ξ^v , ξ^ , μ^v, μ^ ) 對w, b, ξ^v , ξ^的倒數等于0得：

其中Φ(x_i)指的是x_i向量。
將上面式子帶入拉格朗日函數中消去w, b, ξ^v , ξ^得：

(2)再對(1)中得到的式子求極大(對拉格朗日乘子)

約束條件是：


其中α_i^v >=0，μ_i^v >=0，α_i^ >=0，μ_i^ >=0，由α_i^v= C – μ_i^v 得 0 <= α_i^v <= C，同理得 0 <= α_i^ <= C。
所以支持向量回歸的原始問題對應的對偶問題如下：

再將對偶問題的目標表達式轉換成求極小，就得到最終的對偶問題如下：

對偶問題的求解即求出α_i^v 和 α_i^ 可以用SMO算法，這里不再講了。

3、支持向量

支持向量可以說是代表了SVM模型的稀疏性，對于SVR同樣有支持向量。
硬間隔線性可分支持向量機的支持向量是間隔面上的點；
軟間隔線性支持向量機的支持向量是間隔面上的點、間隔面內被正確分類的點、分割面上的點以及所有被分錯的點的集合；
支持向量回歸的支持向量則是間隔面之外的點也就是(α_i^v – α_i^) != 0的點。
(不想看分析過程的可以這么理解，因為支持向量回歸必然要使得訓練數據集中大部分的點都位于回歸線附近，即位于間隔面之內(包括間隔面上)，所以只允許小部分的點(預測誤差較大)位于間隔面之外，支持向量本來就是數據集中的一小部分點，所以位于間隔面之外的點就是支持向量)
分析過程如下：
要使得(w^* , b^* , ξ^v*, ξ^^* , α_i^v* , α_i^^* , μ_i^v* , μ_i^ ^*)這一組解滿足(w^* , b^* , ξ^v*, ξ^^*)是原始問題的最優解且(α_i^v* , α_i^^* , μ_i^v* , μ_i^ ^*)是對偶問題的最優解，則必須滿足以下KKT條件：

由(3)(4)(9)(10)可得：

因為位于間隔面之內的點(包括間隔面)滿足 ξ^v* = ξ^^* = 0，位于下間隔面下方的點滿足ξ^^* = 0， ξ^v* ！= 0 ；位于上間隔面上方的點滿足 ξ^v* =0，ξ^^* ！= 0，；綜上所述ξ^v* ， ξ^^* 至少有一個為0，所以ξ^v* ξ^^*=0
當ξ^v* = ξ^^* = 0時：
假設α_i^v* 和 α_i^^* 都不為0，由(5)和(6)可得，f(x_i) – y_i – ε = 0， y_i – f(x_i) – ε = 0，兩式相加，所以ε=0。由題設可知ε是精度(>0)，不可能為0，故矛盾，所以假設錯誤，則可得α_i^v* 和 α_i^^* 中至少有一個為0。
當ξ^v* =0， ξ^^* ！= 0時：
假設α_i^v* 和 α_i^^* 都不為0，由(5)和(6)可得，f(x_i) – y_i – ε = 0， y_i – f(x_i) – ε – ξ^^* = 0，兩式相加，所以 ξ^^* = -2ε。由題設可知ξ^^* 是大于等于0的，而這里ξ^^*小于0，故矛盾，所以假設錯誤，則可得α_i^v* 和 α_i^^* 中至少有一個為0。
當ξ^v* ！=0， ξ^^* = 0時：
同理可得，α_i^v* 和 α_i^^* 中至少有一個為0。
綜上所述，α_i^v* 和 α_i^^* 中至少有一個為0，所以α_i^v* α_i^^* = 0。
整理上述過程推導的一些條件，可得如下部分KKT條件：

因為α_i^v* 和 α_i^^* 中至少有一個為0，如果α_i^v* = α_i^^*，則必有α_i^v* = α_i^^* = 0，由(d)可知必有ξ^v* = ξ^^* = 0，所以α_i^v* = α_i^^*對應的點位于間隔面之內(包括間隔面上)。
那么α_i^v* ！= α_i^^*，即(α_i^v* – α_i^^*) !=0對應的點位于間隔面之外，所以(α_i^v* – α_i^^*) !=0對應的點就是我們支持向量。

總結

以上是生活随笔為你收集整理的SVM——支持向量回归(SVR)[通俗易懂]的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。