前言：

假設空間

???? ? 在圖像識別領域，灰度圖像被稱為傳說中的2維張量，任意圖像為由所有二類圖像構成的這個二維張量空間內的一個點。由人類專家完成圖像屬性歸納，把二維張量空間圖像的特征顯式的歸結為一維張量空間的n維向量上，被稱為特征提取。一般提取的特征并不一定能在n維向量空間中線性可分，這就需要再由模型進行一次映射，把向量樣本轉換到新的空間實現線性可分。

?????? 在樣本線性可分時，可以證明出支持向量機最終等價于壓縮近鄰法，最終可以使用邊界樣本用于最終的分類。

非線性可分的向量機模型使用近鄰法

? ? ? ? 我們假設訓練樣是線性可分的，即存在一個劃分超平面能將訓練樣本正確分類，然而在現實任務中，原始樣本空間中也許并不存在一個能正確劃分兩類樣本的超平面，例如在下圖中的非線性問題或者異或問題。

???????

?????? 繞開樣本的真實屬性，根據VC維的原則，總能找到一個變換后的空間，可以使有限維數的有限樣本集合線性可分。一般原則是將原始樣本從原始空間映射到一個更高維度的空間，使得樣本在新的特征空間內線性可分。

??? ? ? 令<f> (x） 表示將z映射后的特征向量，于是在特征空間中劃分超平面所對應的模型可表示為：

???????

?????? 其對偶問題為：

???????????????

?????? 求解式（6.21）涉及到計算Φ（x_i）,Φ（x_j），這是樣本Xi與Xj映射到特征空間之后的內積。根據映射函數Φ（xi）的不同，特征的維數可能會很高，甚至可能是無窮維。因此直接計算通常是困難的，因此為了避開這個障礙，可以設想這樣一個函數：

Ker( x_i, x_j?) ?= <Φ（x_i）,Φ（x_j）> = Φ（x_i）^TΦ（x_j） ?????公式13

?????? 把內積運算轉換為核函數運算Ker( x_i, x_j?)，僅僅是形式上的轉換，即計算模型時通過對核函數進行操縱而不是直接對高維特征進行轉換。

?????? 因此尋找特征映射函數Φ（xi）轉變為尋找核函數Ker( )??。

神經網絡、核函數與相似性度量

?????? 支持向量機的基本思想可以概括為，首先通過非線性變換將輸入空間變換到另外一個空間，然后在這個新空間內求最優分類面及最大間隔分類面，而這種非線性變換通過定義適當的內積核函數實現。

???????數量積/內積（dot product; scalar product，也稱為點積）是接受在實數R上的兩個向量并返回一個實數值標量的二元運算。它是歐幾里得空間的標準內積。向量的內積表示向量的相似性，即近鄰特性。

? ? ?? 支持向量機求得的分類函數，形式上類似于一個神經網絡，其輸出是若干中間層節點的線性組合，而每一個中間層的中間節點對應于輸入樣本與一個支持向量的內積，形成一個支持向量網絡。

??????? 網絡中的訓練結果為：K(xi,x)為相同的核函數，但對每一個向量有一個特定的系數。訓練過程為支持向量系數的調整。

?????

三層網絡：

?? ? ?? 輸出(決策規則 )：?權值：w_i=a_iy_{i ?????}????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?? 頂層

?? ? ?? 基于s個支持向量的X1,X2....Xd的非線性變換（內積核函數K( ) ）_{? ? ? ? ? ? ? ? ? ? ?} ? 中間層 ???_{???????????????????????????????????????}

? ?? ?? 輸入向量：x = [ x₁,x₂,......, x_d?] ???????????????????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????底層

?

決策過程：

???????? SVM的決策過程也可以看做相似性比較的過程。第一：將輸入樣本一系列模板進行相似性比較，模板樣本就是訓練過程中決定的支持向量，采用的相似性度量是核函數；第二：樣本經過核函數之后，與各支持向量樣本進行比較后的得分進行加權求和，權值就是訓練時得到的個支持向量的系數a與類

別標號y的乘積；最后：根據加權求和值的大小進行決策。

?????? 采用不同的核函數，可以看做使用不同的相似性度量，線性SVM是直接使用歐式空間中的內積作為相似性度量。

核函數的選擇條件

?????? 使用核函數替換非線性特征變換的可行性，可由泛函空間的有關理論得到。條件是需要找到能夠構成某一變換空間內積變換里面的核函數，這個核函數必須符合Mercer定理：

??????

???????

常見的核函數形式

??????

?????? 采用非零的u和c，采用Sigmod核的支持向量機直接等價于包含一個Sigmod函數隱層的神經網絡。

總結

以上是生活随笔為你收集整理的支持向量机的近邻理解：图像二分类为例（3）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。