支持向量机的近邻理解：图像二分类为例（2）
前言：
假設空間
??????? 一個古老的哲學原理：世界并不是以小包的形式來到我們面前，除非遍歷整個空間，任何訓練得到的模型都是過擬合的。面對學習問題，首先面對這一個空間的認知問題，對空間結構的認識來自于接口，而全面的認識來自于遍歷。??????? 在認識一個未知空間之前，一般的套路是由接口獲取的數據對這個空間進行簡單假設，迭代修改理解規則，最后到遍歷。
?????? 參考鏈接：深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT條件
線性不可分
??????? 實際中，我們會經常遇到線性不可分的樣例，此時，我們的常用做法是把樣例特征映射到高維空間中去(如下圖)，而不是去改善特征提取的工作，從本質上使特征在特征空間中直接線性可分；
??????
圖1 在二維向量空間中的樣本嵌入到三維空間中是線性可分的
??????? 線性不可分映射到高維空間，可能會導致維度大小高到可怕的(19維乃至無窮維的例子)，導致計算復雜。核函數的價值在于它雖然也是講特征進行從低維到高維的轉換，但核函數絕就絕在它事先在低維上進行計算，而將實質上的分類效果表現在了高維上，也就如上文所說的避免了直接在高維空間中的復雜計算。
???????
視野、假設與事實的矛盾
??????? 從可見樣本歸納出假設空間，與事實空間一般不會相同，這就意味著泛化是個概率性的問題。在圖1中的例子中可以看出，嚴格來說，符合專家直覺特征提取過程并不符合甚至可視樣本空間的要求，二維線性不可分映射到三維向量空間線性可分是對特征提取的彌補。
??????? 一切直覺可計算的，便是遞歸可計算的。既然符合直覺的特征提取看似永遠不能滿足僅僅是可見樣本空間的要求，就使用一勞永逸的方案，使用模型來解決特征空間的可描述性。
核函數與近鄰法
???? ? ? 由特征提取得到的向量集合，嵌入到原本向量空間，并非線性可分時，也擁有一般規律，為近鄰特性。原本的向量空間的歐式度量可能不能描述這種歐式特性，描述這種隱含的近鄰特性的方式是引入核函數：
???????? 對于二分類問題，標簽為1和2，類別模型 M1 和 M2；任意N維特征向量 X1, X2，
????? ?? 期望： ? if （f(X1,M1)? <?f( X1, M2 ) ） 則? X1為類別1；
??????????????????????????????????????????????????????? ? ? ? ? ? ? ?????? 其中f(x)為歐式度量
?????? ? 但是此種情況一般是不成立的，人工提取的特征向量在表示樣本時并非能維持相對于真實屬性的近鄰特性，那么 期望是不成立的。我們希望一種從樣本到特征的映射能保證樣本屬于類別的近鄰特性，這就引入核函數。
???????? 期望：if （K(f(X1,M1))? <? K(f( X1, M2 )) ） 則? X1為類別1；
??????????????????????????????????????????????????????? ? ? ? ? ? ? ?????? 其中K()為核函數，為滿足樣本的（相對于樣本類別屬性）真實近鄰特性而產生。
????????
繞過核函數使用近鄰法
??????? 下面就從公式層面進行推導，以核函數為中介，繞過核函數，直接使用近鄰法進行支持向量機的模型訓練。
一、線性可分的向量機模型使用近鄰法
??????? 在二分類樣本+1,-1樣本空間中，劃分超平面可以使用以下線性方程：
?? ? ??? 其中w = ( w1,w2,....,wd )為法向量，決定超平面的方向；b為位移項，決定了超平面到原點間的距離。記作（w，b）。
??? ? ? 樣本空間中任一點x到超平面（w,b），距離可寫為：
?? ? ???若超平面能將訓練樣本正確分類，即對于（xi，yi）∈D,
????
?? ? ???線性可分即為能夠完全使用超平面進行分類，滿足上式的要求
???????????? ? ? ? 其中紅色虛線上的點 為滿足公式1 ?yi = +1 wTx+b=0 的點
?? ? ? ? ? ? ? ?? 其中藍色虛線上的點 為滿足公式2 ?yi = -1?? wTx+b=0的點，兩個虛線上的點被稱之為“支持向量”。
?? ? ???兩個異類支持向量到超平面的距離之和為：
?? ? ???被稱為“間隔”。
?? ? ???直覺上可以得到，兩類支持向量（紅色虛線和藍色虛線）的(兩類邊緣最近鄰)中間位置（黑色實線）是最適合的分類超平面，即是“最大間隔”的分類超平面。
?? ? ???這就等價于，滿足公式1公式2約束的參數w和b，使得r最大，即
??????????
?
?? ? ????這就是線性支持向量機的基本形式
收縮樣本到支持向量：
??? ?? 公式4本身就是一個凸二次規劃問題，可以使用凸二次規劃的方法來解決。既然直覺上可以僅使用支持向量，那么理論上可以轉化成僅使用支持向量的形式。
?????? 使用拉格朗日乘子法得到其等價問題：
????
?????? 帶入公式6到公式5，可將L(w,b,a)中的w和b消去
????? 這個就是我們需要最終優化的式子。至此，得到了線性可分問題的優化式子。
?????? 求解這個式子，有很多的方法，比如SMO等等，個人認為，求解這樣的一個帶約束的凸優化問題與得到這個凸優化問題是比較獨立的兩件事情。
??? ?? 利用標注樣本，可以求解出a，根據公式6，可以得到原模型
收縮樣本到支持向量：
??? ?? 根據式4中的約束不等式，拉格朗日方法在使用過程中必須滿足：
????? ai為拉格朗日乘子，限定公式9-1；公式9-3為極值條件；公式9-2為樣本限定條件；
??????可以得出：
??????若ai=0,則樣本的拉格朗日乘子為0，樣本不參與公式8-2（由公式5計算得到）計算；若ai>0,則yif(xi)=1，對應的樣本為邊界樣本。這樣僅留下yif(xi)=1的邊界（xi,yi）樣本，即是支持向量。
總結
以上是生活随笔為你收集整理的支持向量机的近邻理解：图像二分类为例（2）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 达墨将推“苹果硬盘”，适用于老款 Mac
- 下一篇： 支持向量机的近邻理解：图像二分类为例（3