華電北風吹
天津大學認知計算與應用重點實驗室
日期：2015/11/13

什么是核?
xi,xj∈RN，模型中遇到的關于xi,xj的計算全部是<xi,xj><script type="math/tex" id="MathJax-Element-201"></script>，若在N維中得不到想要的效果，就可以利用核函數，將原本是N維的內積運算映射到高維空間，甚至是無限維。
K(xi,xj)=<?(xi),?(xj)>(0)

一、線性核函數
線性核函數計算公式為
K(xi,xj)=xTixj(1-1)
可以看出，線性核函數就是原始的內積運算，并沒有提升到高維空間。

二、多項式核函數
多項式核函數計算公式為
K(xi,xj)=(γ×xTixj+c)d(2-1)
可以看一個簡單的多項式核函數例子：
K(xi,xj)=(xTixj+c)2
=∑Np,q=1(xpixqi)(xpjxqj)+∑Np=1(2c??√xi)(2c??√xj)+c2
若N=3，可以得到(維度為10)
?(xi)=[x(1)ix(1)i,x(1)ix(2)i,x(1)ix(3)i,x(2)ix(1)i,x(2)ix(2)i,x(2)ix(3)i,x(3)ix(1)i,x(3)ix(2)i,x(3)ix(3)i,2c??√x1,2c??√x2,2c??√x3,c]T
可以驗證，映射后高維空間的維數是CdN+d。

三、徑向基核函數(Radial Basis Function)
徑向基核函數利用公式(3-1)對N維向量xi,xj的內積擴展到無限維向量?(xi),?(xj)的內積。
K(xi,xj)=e?γ||xi?xj||2(3-1)
其中
?(x)=e?γx2[1,(2γ)1!???√x,(2γ)22!????√x2,(2γ)33!????√x3,...,(2γ)kk!????√xk,...]T(3-2)
下面對此公式進行簡要推導解釋：
e?γ||xi?xj||2
=e?γx2i+2γxTixj?γx2j
=e?γx2i?γx2j×e2γxTixj
=e?γx2i?γx2j×(1+2γxTixj+(2γxTixj)22!+(2γxTixj)33!+...+(2γxTixj)kk!+...)
=e?γx2i?γx2j×(1+2γ??√xTi2γ??√xj+(2γ)22!????√(xTi)2(2γ)22!????√x2j+(2γ)33!????√(xTi)3(2γ)33!????√x3j+...+(2γ)kk!????√(xTi)k(2γ)kk!????√xkj+...)
=e?γx2i×[1+2γ??√xTi+(2γ)22!????√(xTi)2+(2γ)33!????√(xTi)3+...+(2γ)kk!????√(xTi)k+...]
?e?γx2j×[1+2γ??√xj+(2γ)22!????√x2j+(2γ)33!????√x3j+...+(2γ)kk!????√xkj+...]
=?(xi)T?(xj)

總結

以上是生活随笔為你收集整理的ML—核技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。