SVM核函数
原文地址：
http://www.zhizhihu.com/html/y2010/2113.html
支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上的新一代機(jī)器學(xué)習(xí)算法，支持向量機(jī)的優(yōu)勢(shì)主要體現(xiàn)在解決線性不可分問(wèn)題，它通過(guò)引入核函數(shù)，巧妙地解決了在高維空間中的內(nèi)積運(yùn)算，從而很好地解決了非線性分類問(wèn)題。
構(gòu)造出一個(gè)具有良好性能的SVM，核函數(shù)的選擇是關(guān)鍵．核函數(shù)的選擇包括兩部分工作：一是核函數(shù)類型的選擇，二是確定核函數(shù)類型后相關(guān)參數(shù)的選擇．因此如何根據(jù)具體的數(shù)據(jù)選擇恰當(dāng)?shù)暮撕瘮?shù)是SVM應(yīng)用領(lǐng)域遇到的一個(gè)重大難題，也成為科研工作者所關(guān)注的焦點(diǎn)，即便如此，卻依然沒(méi)有得到具體的理論或方法來(lái)指導(dǎo)核函數(shù)的選取．
1、經(jīng)常使用的核函數(shù)
核函數(shù)的定義并不困難，根據(jù)泛函的有關(guān)理論，只要一種函數(shù)K(xi,xj)滿足Mercer條件，它就對(duì)應(yīng)某一變換空間的內(nèi)積．對(duì)于判斷哪些函數(shù)是核函數(shù)到目前為止也取得了重要的突破，得到Mercer定理和以下常用的核函數(shù)類型：
(1)線性核函數(shù)
K(x,xi)=x?xi
(2)多項(xiàng)式核
K(x,xi)=((x?xi)+1)d
(3)徑向基核（RBF）
K(x,xi)=exp(?∥x?xi∥2σ2)
Gauss徑向基函數(shù)則是局部性強(qiáng)的核函數(shù)，其外推能力隨著參數(shù)σ的增大而減弱。多項(xiàng)式形式的核函數(shù)具有良好的全局性質(zhì)。局部性較差。
(4)傅里葉核
K(x,xi)=1?q22(1?2qcos(x?xi)+q2)
(5)樣條核
K(x,xi)=B2n+1(x?xi)
(6)Sigmoid核函數(shù)
K(x,xi)=tanh(κ(x,xi)?δ)
采用Sigmoid函數(shù)作為核函數(shù)時(shí)，支持向量機(jī)實(shí)現(xiàn)的就是一種多層感知器神經(jīng)網(wǎng)絡(luò)，應(yīng)用SVM方法，隱含層節(jié)點(diǎn)數(shù)目(它確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu))、隱含層節(jié)點(diǎn)對(duì)輸入節(jié)點(diǎn)的權(quán)值都是在設(shè)計(jì)(訓(xùn)練)的過(guò)程中自動(dòng)確定的。而且支持向量機(jī)的理論基礎(chǔ)決定了它最終求得的是全局最優(yōu)值而不是局部最小值，也保證了它對(duì)于未知樣本的良好泛化能力而不會(huì)出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象。
2、核函數(shù)的選擇
在選取核函數(shù)解決實(shí)際問(wèn)題時(shí)，通常采用的方法有：一是利用專家的先驗(yàn)知識(shí)預(yù)先選定核函數(shù)；二是采用Cross-Validation方法，即在進(jìn)行核函數(shù)選取時(shí)，分別試用不同的核函數(shù)，歸納誤差最小的核函數(shù)就是最好的核函數(shù)．如針對(duì)傅立葉核、RBF核，結(jié)合信號(hào)處理問(wèn)題中的函數(shù)回歸問(wèn)題，通過(guò)仿真實(shí)驗(yàn)，對(duì)比分析了在相同數(shù)據(jù)條件下，采用傅立葉核的SVM要比采用RBF核
的SVM誤差小很多．三是采用由Smits等人提出的混合核函數(shù)方法，該方法較之前兩者是目前選取核函數(shù)的主流方法，也是關(guān)于如何構(gòu)造核函數(shù)的又一開(kāi)創(chuàng)性的工作．將不同的核函數(shù)結(jié)合起來(lái)后會(huì)有更好的特性，這是混合核函數(shù)方法的基本思想．
對(duì)于核函數(shù)的理解，pluskid的博客寫的相當(dāng)不錯(cuò)啊，大家可以看看。
總結(jié)
- 上一篇： 在matlab中如何使用SVM工具箱
- 下一篇： RankSVM