Kernel Method的理解
kernel method是針對低維線性不可分而提出的一種解決方法,在PRML中有一章節的介紹,對其理解,也是迭代更進的過程。
簡單來說,kernel method是一種低維和高維特征空間映射的方法,利用低維內積的函數來表征高維內積,即高維的內積用低維內積的函數來表示,這個低維內積的函數就是kernel function。
1、首先,說明kernel method的示例?
1)問題提出:
將二維線性不可分映射到三維,就可以實現超平面的線性可分。
2)如何映射呢?
利用原空間中的已知信息來計算新空間中的內積,新空間是高維,直接計算內積運算量大,而通過原空間低維的內積函數運算則可避免這一問題,同時又能起到高維線性可分下的內積效果。
3)內積是一種相似性度量(正交的,內積為零),如此,可定義內積函數為:
通過核函數,可實現:
2、其次,我們說怎么樣的內積函數符合核函數要求?
Mercer定理,任何半正定的函數都可以作為核函數。
其論證過程,包括內積矩陣,待進一步學習。
3、目前核函數有哪些?
徑向基和高斯核是比較常用的,至于高斯核可以映射到無限維這個推理也有待進一步看相關資料。
4、關于DL和Kernel的思考
DL在高維、非線性上是很好的模型,而kernel漸漸被冷落,其原因是否還在于kernel核函數的普適性以及高維計算的問題,這個困惑有待進一步求索。
圖片參考:https://blog.csdn.net/baimafujinji/article/details/79372911
?
總結
以上是生活随笔為你收集整理的Kernel Method的理解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 参数估计Bayesian方法的困惑点
- 下一篇: 64位Win10安装Pytorch