UA MATH567 高維統計II 隨機向量11 kernel的構造 用內積替換反三角函數

我們來做上一講剩下的kernel的構造，完成Grothendieck不等式的證明中的kernel trick。

引理
存在一個Hilbert空間$H$，以及變換$\Phi ,\Psi :S^{n?1}\to S(H)$，使得
$$\frac{2}{\pi }\arcsin ?\Phi (u),\Psi (v)?=\beta ?u,v?,\beta =\frac{2}{\pi }\ln (1+\sqrt{2})$$

其中$S(H)$是$H$上的單位球面。

有了這個引理，我們就可以直接得到Grothendieck不等式了，下一講我們介紹這個引理的證明。

說明
對于$\frac{2}{\pi }\arcsin ?\Phi (u),\Psi (v)?=\beta ?u,v?$，我們實際上要構造的kernel $\Phi ,\Psi$應該滿足
$$?\Phi (u),\Psi (v)?=\sin \frac{\pi }{2}\beta ?u,v?$$

于是這里涉及的關于內積的非線性性來源于$f(x)=\sin \frac{\pi }{2}\beta x$，這是一個實值解析函數(存在Taylor展開)。

---

引理
假設$f(x)$是解析函數
$$f(x)=\sum _{k=0}^{\infty }{a}_k{x}^k$$

則存在$\Phi ,\Psi$使得$?\Phi (u),\Psi (v)?=f(?u,v?)$，并且
$${\Vert \Phi (u)\Vert }^2={\Vert \Psi (u)\Vert }^2=\sum _{k=0}^{\infty }|a_k|{\Vert u\Vert }_2^{2k}$$

我們可以寫出$\Phi ,\Psi$的形式：${\mathbb{R}}^n\to \mathbb{R}\oplus {\mathbb{R}}^n\oplus {\mathbb{R}}^{2n}\oplus ?$，
$$\Phi (u)=\Psi (u)=\sqrt{|a_0|}\oplus \sqrt{|a_1|}u\oplus (\sqrt{|a_2|}u?u)\oplus ?$$

這里的$\oplus$表示子空間的直和，$?$表示張量積，對應到$\Phi$的表達式中，比如在計算范數的平方時
$$\begin{gathered} {\Vert \Phi (u)\Vert }^2=\left({\oplus }_{k=0}^{\infty }\sqrt{|a_k|}{u}^{?k}\right)\left({\oplus }_{k=0}^{\infty }\sqrt{|a_k|}{u}^{?k}\right) \\ =\sum _{k=0}^{\infty }(\sqrt{|a_k|}{)}^2?u^{?k},u^{?k}?=\sum _{k=0}^{\infty }|a_k|{\Vert u\Vert }_2^{2k} \end{gathered}$$

也就是說我們可以把這種直和式每一項理解成向量的一個分量。

---

根據這個引理，我們來分析$f(x)=\sin \frac{\pi }{2}\beta x$，它的Taylor展開是
$$f(x)=\sum _{i=0}^{\infty }\frac{(?1{)}^i(\frac{\pi }{2}\beta x{)}^{2i+1}}{(2i+1)!}=\sum _{k=0}^{\infty }{a}_i{x}^i$$

于是
$${\Vert \Phi (u)\Vert }^2=\sum _{k=0}^{\infty }|a_k|{\Vert u\Vert }_2^{2k}=\sum _{k=0}^{\infty }|a_k|=\sum _{i=0}^{\infty }\frac{(\frac{\pi }{2}\beta {)}^{2i+1}}{(2i+1)!}=\sinh \frac{\pi }{2}\beta$$

第二個等式是因為$u\in S^{n?1}$，所以$u$的范數為1。要讓${\Vert \Phi (u)\Vert }^2=1$（因為$\Phi ,\Psi$是到$S(H)$的映射，所以它們的范數為1），則$\sinh \frac{\pi }{2}\beta =1$，因此我們可以解出$\beta =\frac{2}{\pi }(1+\ln \sqrt{2})$。其中核函數為
$$\Phi (u)={\oplus }_{k=0}^{\infty }\sqrt{\frac{(\frac{\pi }{2}\beta {)}^{2i+1}}{(2i+1)!}}{u}^{?k}$$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计II 随机向量11 kernel的构造 用内积替换反三角函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。