支持向量機(jī)對(duì)線性不可分?jǐn)?shù)據(jù)的處理

目標(biāo)

本文檔嘗試解答如下問(wèn)題:

• 在訓(xùn)練數(shù)據(jù)線性不可分時(shí)，如何定義此情形下支持向量機(jī)的最優(yōu)化問(wèn)題。
• 如何設(shè)置?CvSVMParams?中的參數(shù)來(lái)解決此類(lèi)問(wèn)題。

動(dòng)機(jī)

為什么需要將支持向量機(jī)優(yōu)化問(wèn)題擴(kuò)展到線性不可分的情形？ 在多數(shù)計(jì)算機(jī)視覺(jué)運(yùn)用中，我們需要的不僅僅是一個(gè)簡(jiǎn)單的SVM線性分類(lèi)器， 我們需要更加強(qiáng)大的工具來(lái)解決?訓(xùn)練數(shù)據(jù)無(wú)法用一個(gè)超平面分割?的情形。

我們以人臉識(shí)別來(lái)做一個(gè)例子，訓(xùn)練數(shù)據(jù)包含一組人臉圖像和一組非人臉圖像(除了人臉之外的任何物體)。 這些訓(xùn)練數(shù)據(jù)超級(jí)復(fù)雜，以至于為每個(gè)樣本找到一個(gè)合適的表達(dá) (特征向量) 以讓它們能夠線性分割是非常困難的。

最優(yōu)化問(wèn)題的擴(kuò)展

還記得我們用支持向量機(jī)來(lái)找到一個(gè)最優(yōu)超平面。 既然現(xiàn)在訓(xùn)練數(shù)據(jù)線性不可分，我們必須承認(rèn)這個(gè)最優(yōu)超平面會(huì)將一些樣本劃分到錯(cuò)誤的類(lèi)別中。 在這種情形下的優(yōu)化問(wèn)題，需要將?錯(cuò)分類(lèi)(misclassification)?當(dāng)作一個(gè)變量來(lái)考慮。新的模型需要包含原來(lái)線性可分情形下的最優(yōu)化條件，即最大間隔(margin), 以及在線性不可分時(shí)分類(lèi)錯(cuò)誤最小化。

我們還是從最大化?間隔?這一條件來(lái)推導(dǎo)我們的最優(yōu)化問(wèn)題的模型(這在?前一節(jié)?已經(jīng)討論了):

在這個(gè)模型中加入錯(cuò)分類(lèi)變量有多種方法。比如，我們可以最小化一個(gè)函數(shù)，該函數(shù)定義為在原來(lái)模型的基礎(chǔ)上再加上一個(gè)常量乘以樣本被錯(cuò)誤分類(lèi)的次數(shù):

然而，這并不是一個(gè)好的解決方案，其中一個(gè)原因是它沒(méi)有考慮錯(cuò)分類(lèi)的樣本距離同類(lèi)樣本所屬區(qū)域的大小。 因此一個(gè)更好的方法是考慮?錯(cuò)分類(lèi)樣本離同類(lèi)區(qū)域的距離:

這里為每一個(gè)樣本定義一個(gè)新的參數(shù)??， 這個(gè)參數(shù)包含對(duì)應(yīng)樣本離同類(lèi)區(qū)域的距離。 下圖顯示了兩類(lèi)線性不可分的樣本，以及一個(gè)分割超平面和錯(cuò)分類(lèi)樣本距離同類(lèi)區(qū)域的距離。

Note

?

圖中只顯示了錯(cuò)分類(lèi)樣本的距離，其余樣本由于已經(jīng)處于同類(lèi)區(qū)域內(nèi)部所以距離為零。

紅色和藍(lán)色直線表示各自區(qū)域的邊際間隔， 每個(gè)??表示從錯(cuò)分類(lèi)樣本到同類(lèi)區(qū)域邊際間隔的距離。

最后我們得到最優(yōu)問(wèn)題的最終模型:

關(guān)于參數(shù)C的選擇， 明顯的取決于訓(xùn)練樣本的分布情況。 盡管并不存在一個(gè)普遍的答案，但是記住下面幾點(diǎn)規(guī)則還是有用的:

• C比較大時(shí)分類(lèi)錯(cuò)誤率較小，但是間隔也較小。 在這種情形下， 錯(cuò)分類(lèi)對(duì)模型函數(shù)產(chǎn)生較大的影響，既然優(yōu)化的目的是為了最小化這個(gè)模型函數(shù)，那么錯(cuò)分類(lèi)的情形必然會(huì)受到抑制。
• C比較小時(shí)間隔較大，但是分類(lèi)錯(cuò)誤率也較大。 在這種情形下，模型函數(shù)中錯(cuò)分類(lèi)之和這一項(xiàng)對(duì)優(yōu)化過(guò)程的影響變小，優(yōu)化過(guò)程將更加關(guān)注于尋找到一個(gè)能產(chǎn)生較大間隔的超平面。

源碼

你可以從OpenCV源碼庫(kù)文件夾?samples/cpp/tutorial_code/gpu/non_linear_svms/non_linear_svms?下載源碼和視頻， 或者?從此處下載.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118

#include <iostream> #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/ml/ml.hpp>#define NTRAINING_SAMPLES 100 // Number of training samples per class #define FRAC_LINEAR_SEP 0.9f // Fraction of samples which compose the linear separable part using namespace cv; using namespace std; int main() { // Data for visual representation const int WIDTH = 512, HEIGHT = 512; Mat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3); //--------------------- 1. Set up training data randomly --------------------------------------- Mat trainData(2*NTRAINING_SAMPLES, 2, CV_32FC1); Mat labels (2*NTRAINING_SAMPLES, 1, CV_32FC1); RNG rng(100); // Random value generation class // Set up the linearly separable part of the training data int nLinearSamples = (int) (FRAC_LINEAR_SEP * NTRAINING_SAMPLES); // Generate random points for the class 1 Mat trainClass = trainData.rowRange(0, nLinearSamples); // The x coordinate of the points is in [0, 0.4) Mat c = trainClass.colRange(0, 1); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH)); // The y coordinate of the points is in [0, 1) c = trainClass.colRange(1,2); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT)); // Generate random points for the class 2 trainClass = trainData.rowRange(2*NTRAINING_SAMPLES-nLinearSamples, 2*NTRAINING_SAMPLES); // The x coordinate of the points is in [0.6, 1] c = trainClass.colRange(0 , 1); rng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH)); // The y coordinate of the points is in [0, 1) c = trainClass.colRange(1,2); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT)); //------------------ Set up the non-linearly separable part of the training data --------------- // Generate random points for the classes 1 and 2 trainClass = trainData

轉(zhuǎn)載于:https://www.cnblogs.com/GarfieldEr007/p/5292297.html

總結(jié)

以上是生活随笔為你收集整理的OpenCV支持向量机SVM对线性不可分数据的处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。