支持向量机的优缺点
原文:http://blog.sina.com.cn/s/blog_6d979ba00100oel2.html
SVM有如下主要幾個特點:
(1)非線性映射是SVM方法的理論基礎,SVM利用內積核函數代替向高維空間的非線性映射;
(2)對特征空間劃分的最優超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;
(3)支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量;
(4)SVM 是一種有堅實理論基礎的新穎的小樣本學習方法。
它基本上不涉及概率測度及大數定律等,因此不同于現有的統計方法。
從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的“轉導推理”,
大大簡化了通常的分類和回歸等問題;
(5)SVM 的最終決策函數只由少數的支持向量所確定,計算的復雜性取決于支持向量的數目,
而不是樣本空間的維數,這在某種意義上避免了“維數災難”。
(6)少數支持向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本,
而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。
這種“魯棒”性主要體現在:
①增、刪非支持向量樣本對模型沒有影響;
②支持向量樣本集具有一定的魯棒性;
③有些成功的應用中,SVM 方法對核的選取不敏感
兩個不足:
(1) SVM算法對大規模訓練樣本難以實施 由于SVM是借助二次規劃來求解支持向量,
而求解二次規劃將涉及m階矩陣的計算(m為樣本的個數),當m數目很大時該矩陣的存儲和計算
將耗費大量的機器內存和運算時間。
針對以上問題的主要改進有
J.Platt的SMO算法、
T.Joachims的SVM、
C.J.C.Burges等的PCGC、
張學工的CSVM
以及O.L.Mangasarian等的SOR算法
(2) 用SVM解決多分類問題存在困難
經典的支持向量機算法只給出了二類分類的算法,
而在數據挖掘的實際應用中,一般要解決多類的分類問題。
可以通過多個二類支持向量機的組合來解決。
主要有
一對多組合模式、一對一組合模式和SVM決策樹;
再就是通過構造多個分類器的組合來解決。
主要原理是克服SVM固有的缺點,結合其他算法的優勢,解決多類問題的分類精度。
如:
與粗集理論結合,形成一種優勢互補的多類問題的組合分類器。
SVM有如下主要幾個特點:
(1)非線性映射是SVM方法的理論基礎,SVM利用內積核函數代替向高維空間的非線性映射;
(2)對特征空間劃分的最優超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;
(3)支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量;
(4)SVM 是一種有堅實理論基礎的新穎的小樣本學習方法。
它基本上不涉及概率測度及大數定律等,因此不同于現有的統計方法。
從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的“轉導推理”,
大大簡化了通常的分類和回歸等問題;
(5)SVM 的最終決策函數只由少數的支持向量所確定,計算的復雜性取決于支持向量的數目,
而不是樣本空間的維數,這在某種意義上避免了“維數災難”。
(6)少數支持向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本,
而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。
這種“魯棒”性主要體現在:
①增、刪非支持向量樣本對模型沒有影響;
②支持向量樣本集具有一定的魯棒性;
③有些成功的應用中,SVM 方法對核的選取不敏感
兩個不足:
(1) SVM算法對大規模訓練樣本難以實施 由于SVM是借助二次規劃來求解支持向量,
而求解二次規劃將涉及m階矩陣的計算(m為樣本的個數),當m數目很大時該矩陣的存儲和計算
將耗費大量的機器內存和運算時間。
針對以上問題的主要改進有
J.Platt的SMO算法、
T.Joachims的SVM、
C.J.C.Burges等的PCGC、
張學工的CSVM
以及O.L.Mangasarian等的SOR算法
(2) 用SVM解決多分類問題存在困難
經典的支持向量機算法只給出了二類分類的算法,
而在數據挖掘的實際應用中,一般要解決多類的分類問題。
可以通過多個二類支持向量機的組合來解決。
主要有
一對多組合模式、一對一組合模式和SVM決策樹;
再就是通過構造多個分類器的組合來解決。
主要原理是克服SVM固有的缺點,結合其他算法的優勢,解決多類問題的分類精度。
如:
與粗集理論結合,形成一種優勢互補的多類問題的組合分類器。
轉載于:https://www.cnblogs.com/zhizhan/p/4529313.html
總結
- 上一篇: vb.net 画多个矩形_电气原理图和接
- 下一篇: jQuery1.7.2正式发布了