支持向量机的优缺点
原文:http://blog.sina.com.cn/s/blog_6d979ba00100oel2.html
SVM有如下主要幾個(gè)特點(diǎn):
(1)非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;
(2)對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心;
(3)支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量;
(4)SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。
它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。
從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”,
大大簡(jiǎn)化了通常的分類和回歸等問題;
(5)SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,
而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。
(6)少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,
而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。
這種“魯棒”性主要體現(xiàn)在:
①增、刪非支持向量樣本對(duì)模型沒有影響;
②支持向量樣本集具有一定的魯棒性;
③有些成功的應(yīng)用中,SVM 方法對(duì)核的選取不敏感
兩個(gè)不足:
(1) SVM算法對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施 由于SVM是借助二次規(guī)劃來求解支持向量,
而求解二次規(guī)劃將涉及m階矩陣的計(jì)算(m為樣本的個(gè)數(shù)),當(dāng)m數(shù)目很大時(shí)該矩陣的存儲(chǔ)和計(jì)算
將耗費(fèi)大量的機(jī)器內(nèi)存和運(yùn)算時(shí)間。
針對(duì)以上問題的主要改進(jìn)有
J.Platt的SMO算法、
T.Joachims的SVM、
C.J.C.Burges等的PCGC、
張學(xué)工的CSVM
以及O.L.Mangasarian等的SOR算法
(2) 用SVM解決多分類問題存在困難
經(jīng)典的支持向量機(jī)算法只給出了二類分類的算法,
而在數(shù)據(jù)挖掘的實(shí)際應(yīng)用中,一般要解決多類的分類問題。
可以通過多個(gè)二類支持向量機(jī)的組合來解決。
主要有
一對(duì)多組合模式、一對(duì)一組合模式和SVM決策樹;
再就是通過構(gòu)造多個(gè)分類器的組合來解決。
主要原理是克服SVM固有的缺點(diǎn),結(jié)合其他算法的優(yōu)勢(shì),解決多類問題的分類精度。
如:
與粗集理論結(jié)合,形成一種優(yōu)勢(shì)互補(bǔ)的多類問題的組合分類器。
SVM有如下主要幾個(gè)特點(diǎn):
(1)非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;
(2)對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心;
(3)支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量;
(4)SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。
它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。
從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”,
大大簡(jiǎn)化了通常的分類和回歸等問題;
(5)SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,
而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。
(6)少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,
而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。
這種“魯棒”性主要體現(xiàn)在:
①增、刪非支持向量樣本對(duì)模型沒有影響;
②支持向量樣本集具有一定的魯棒性;
③有些成功的應(yīng)用中,SVM 方法對(duì)核的選取不敏感
兩個(gè)不足:
(1) SVM算法對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施 由于SVM是借助二次規(guī)劃來求解支持向量,
而求解二次規(guī)劃將涉及m階矩陣的計(jì)算(m為樣本的個(gè)數(shù)),當(dāng)m數(shù)目很大時(shí)該矩陣的存儲(chǔ)和計(jì)算
將耗費(fèi)大量的機(jī)器內(nèi)存和運(yùn)算時(shí)間。
針對(duì)以上問題的主要改進(jìn)有
J.Platt的SMO算法、
T.Joachims的SVM、
C.J.C.Burges等的PCGC、
張學(xué)工的CSVM
以及O.L.Mangasarian等的SOR算法
(2) 用SVM解決多分類問題存在困難
經(jīng)典的支持向量機(jī)算法只給出了二類分類的算法,
而在數(shù)據(jù)挖掘的實(shí)際應(yīng)用中,一般要解決多類的分類問題。
可以通過多個(gè)二類支持向量機(jī)的組合來解決。
主要有
一對(duì)多組合模式、一對(duì)一組合模式和SVM決策樹;
再就是通過構(gòu)造多個(gè)分類器的組合來解決。
主要原理是克服SVM固有的缺點(diǎn),結(jié)合其他算法的優(yōu)勢(shì),解決多類問題的分類精度。
如:
與粗集理論結(jié)合,形成一種優(yōu)勢(shì)互補(bǔ)的多類問題的組合分類器。
轉(zhuǎn)載于:https://www.cnblogs.com/zhizhan/p/4529313.html
總結(jié)
- 上一篇: vb.net 画多个矩形_电气原理图和接
- 下一篇: jQuery1.7.2正式发布了