核方法在非線性分類問題上有很好的解決思路，應(yīng)用于學(xué)習(xí)器SVM以及降維KPCA上，當(dāng)然二者路徑也不同，SVM就是從低維不可分映射到高維可分，而KPCA是從低維不可分映射到高維后再降維到低維可分，但都脫離不來這個(gè)核方法。

核方法的原理大致是：在將低維映射到高維的過程中，如果在高維空間計(jì)算點(diǎn)積，其復(fù)雜度可想而知，但通過核函數(shù)可以在低維空間內(nèi)得到高維空間的點(diǎn)積。

理解的核心在于：核函數(shù)如何做到這點(diǎn)呢？

通過這個(gè)解釋，可以看出選擇一定的核函數(shù)，可以實(shí)現(xiàn)低維空間計(jì)算高維空間的點(diǎn)積。

核函數(shù)怎么定義：

對(duì)一個(gè)二維空間做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個(gè)維度；如果原始空間是三維，那么我們會(huì)得到 19 維的新空間，隨著維度的增加，非線性組合的數(shù)目是呈爆炸性增長(zhǎng)，維度無窮無盡。

核函數(shù)有如此的好處，但構(gòu)造核函數(shù)本身就是一件不容易的事。

巧妙的核技巧令人垂涎：通過核函數(shù)，用低維的計(jì)算量得到了高維的結(jié)果，沒有增加計(jì)算復(fù)雜度的同時(shí)，得到了性質(zhì)更好的高維投影。

只要涉及到內(nèi)積運(yùn)算，都可運(yùn)用核函數(shù)替代來得到高維投影的內(nèi)積，于是雖然尋找核函數(shù)困難，根據(jù)Mercer定理還是有規(guī)律可循。

被證明可用的核函數(shù)有：

總結(jié)：核方法在線性與非線性間架起一座橋梁，通過巧妙地引進(jìn)核函數(shù)，避免了維數(shù)災(zāi)難，沒有增加計(jì)算復(fù)雜度卻實(shí)現(xiàn)了高維點(diǎn)積運(yùn)算。核函數(shù)的定義需滿足Mercer定理，被證明可用的主要有三類線性核、高斯核、多項(xiàng)核。

深入學(xué)習(xí)：

https://www.ics.uci.edu/~welling/teaching/KernelsICS273B/svmintro.pdf

https://arxiv.org/pdf/math/0701907.pdf

總結(jié)

以上是生活随笔為你收集整理的核方法的理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。