當前位置：首頁 >

UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick

發布時間：2025/4/14 50 豆豆

生活随笔收集整理的這篇文章主要介紹了 UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UA MATH567 高維統計II 隨機向量10 Grothendieck不等式的證明版本二：kernel trick

在介紹亞高斯隨機向量的更多應用之前，我們先簡單介紹一下核方法(kernel trick)。大概近十來年，張量數據(tensor data)越來越多了，比如MRI數據，基因組學的array data等等，如果按傳統多元統計的思路處理張量數據，那就是定義一些拉平算子把張量變成一個向量進行研究，這樣做的缺陷在于它完全破壞了張量數據本身的spatial correlation，所以我們需要另一種能夠不破壞張量數據的spatial structure的方法——核方法(kernel trick)。它的本質是在用低維的簡單的結構近似高維的、非線性的結構。

一個直觀例子，關于Kernel trick在做什么：函數 $f(x_1,x_2)=x_1^2+x_2^2+3x_1x_2+x_1+x_2$ 是一個二次函數，我們可以用二次型分析它，但不管怎么說這都是一個需要一點工具才能分析的東西，但如果我們打破我們的刻板印象，不在 $x_1,x_2)$ 這個二維坐標系下討論這個函數，而是在 $x_1,x_2,x_1x_2,x_1^2,x_2^2)$ 這個五維的坐標系下討論這個函數，它就是是一個非常簡單的線性函數了。

Tensor and Array Data

假設我們要處理的張量數據用 $A=(ai1?ik)∈Rn1×?×nkA=(a_{i_1\cdots i_k}) \in \mathbb{R}^{n_1 \times \cdots \times n_k}$ 表示，其中 $i1,?,iki_1,\cdots,i_k$ 是啞標（可以自由取遍所有可能的取值）， $i1=1,?,n1,?,ik=1,?,nki_1=1,\cdots,n_1,\cdots,i_k = 1,\cdots,n_k$ 。

定義張量數據的內積為
$?A,B?=∑i1,?,ikai1?ikbi1?ik\langle A,B \rangle = \sum_{i_1,\cdots,i_k}a_{i_1\cdots i_k}b_{i_1\cdots i_k}$

定義rank 1 tensor（或者稱為簡單張量）為向量的張量積，比如
$\in \mathbb{R}^n,u \otimes \cdots \otimes u = u^{\otimes k} = (u_{i_1}\cdots u_{i_k}) \in \mathbb{R}^{n \times \cdots \times n}$

性質
$\in \mathbb{R}^n,\langle u^{\otimes k},v^{\otimes k} \rangle=\langle u,v \rangle^k$

證明
根據定義，
$?u?k,v?k?=∑i1,?,ikui1?uikvi1?vik=(∑i1ui1vi1)?(∑i1uikvik)=?u,v?k\langle u^{\otimes k},v^{\otimes k} \rangle =\sum_{i_1,\cdots,i_k}u_{i_1}\cdots u_{i_k}v_{i_1}\cdots v_{i_k} \\ = \left( \sum_{i_1} u_{i_1}v_{i_1} \right) \cdots \left( \sum_{i_1} u_{i_k}v_{i_k} \right)=\langle u,v \rangle^k$

假設 $K$ 是一個二元映射， $K:Ω×Ω→RK:\Omega \times \Omega \to \mathbb{R}$ ，能用kernel trick分析這個二元映射的前提是存在一個Hilbert空間與映射 $Φ:Ω→H\Phi:\Omega \to H$ ，使得
$K(u,v)=?Φ(u),Φ(v)?H,?u,v∈ΩK(u,v)=\langle \Phi(u),\Phi(v) \rangle_H,\forall u,v \in \Omega$

比如對于任意解析函數 $f$ ， $f(\langle\cdot,\cdot \rangle)$ ，我們希望 $?Φ,Ψ:Rn→Rnk\exists \Phi,\Psi:\mathbb{R}^n \to \mathbb{R}^{n^k}$ ，使得
$?u,v∈Rn,f(?u,v?)=?Φ(u),Ψ(v)?\forall u,v \in \mathbb{R^n},f(\langle u,v \rangle) = \langle \Phi(u),\Psi(v) \rangle$

(上面的性質就是一個例子)，這樣的kernel與Hilbert空間的存在性由下列定理保證：

Mercer定理、Moore-Aronszajn定理 ${u_i\}_{i=1}^N$ 是 $Ω\Omega$ 中的任意點集，如果矩陣 $[K(ui,uj)]N×N[K(u_i,u_j)]_{N \times N}$ 是半正定矩陣，則存在Hilbert空間與映射 $Φ:Ω→H\Phi:\Omega \to H$ ，使得
$K(u,v)=?Φ(u),Φ(v)?H,?u,v∈ΩK(u,v)=\langle \Phi(u),\Phi(v) \rangle_H,\forall u,v \in \Omega$

稱 $Φ\Phi$ 是特征映射(feature map)，稱 $K$ 為kernel， $H$ 具有唯一性，可以根據 $K$ 構建，稱其為reproducing kernel Hilbert space (RKHS)。

應用舉例

現在回到第七講討論的Grothendieck不等式，這個不等式提供了分析用半正定規劃近似整數規劃的誤差的方法。第九講中我們用半正定規劃+random rounding技巧近似了用整數規劃建模的圖的max-cut問題。對比這兩個思路我們可以獲得一個新的想法，我們能不能用random rounding技巧推Grothendieck不等式？

Grothendieck不等式
$A$ 是 $\times n$ 的實矩陣， $xi,yj∈{?1,1}x_i,y_j \in \{-1,1\}$ ，假設 $∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le 1$ ，則 $?H\forall H$ (Hilbert space)， $?ui,vj∈H\forall u_i,v_j \in H$ ， $∥ui∥=∥vj∥=1\left\| u_i \right\|=\left\| v_j \right\|=1$ ，
$∣∑i,jAi,j?ui,vj?∣≤K,K≤1.783|\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle| \le K,K \le 1.783$

第七講中證明這個不等式的第二步引入了隨機性，定義 $\sim N(0,I_N)$ ，定義 $xi=sgn?g,ui?,yj=sgn?g,vj?x_i =sgn \langle g,u_i\rangle,y_j = sgn \langle g,v_j\rangle$ ，我們沿用這個設定，但后續用random rounding的思路分析，根據Grothendieck恒等式（第九講）
$E[xiyj]=2πarcsin??ui,vj?E[x_iy_j] =\frac{2}{\pi} \arcsin \langle u_i,v_j\rangle$

我們可以想象一下，如果 $E[xiyj]=2π?ui,vj?E[x_iy_j] =\frac{2}{\pi} \langle u_i,v_j\rangle$ ，那么
$\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle|=\frac{\pi}{2}|\sum_{i,j}A_{i,j}E[x_iy_j]| \\ = \frac{\pi}{2}E|\sum_{i,j}A_{i,j}[x_iy_j]|=\frac{\pi}{2}<1.783$

也就是說我們甚至還能得到一個更小的上界，那么到底怎么才能實現 $E[xiyj]=2π?ui,vj?E[x_iy_j] =\frac{2}{\pi} \langle u_i,v_j\rangle$ 呢？我們可以做一個變換：
$ui→ui′,vj→vj′u_i \to u_i',v_j \to v_j'$

使得
$?β,β?ui,vj?=sin?2π?ui′,vj′??π2arcsin?β?ui,vj?=?ui′,vj′?\exists \beta, \beta \langle u_i,v_j \rangle = \sin \frac{2}{\pi}\langle u_i',v_j '\rangle \Leftrightarrow \frac{\pi}{2}\arcsin \beta \langle u_i,v_j \rangle = \langle u_i',v_j '\rangle$

這個變換實際上就是kernel trick， $?Φ,Ψ:Rn→Rnk\exists \Phi,\Psi:\mathbb{R}^n \to \mathbb{R}^{n^k}$ ，使得
$?u,v∈Rn,f(?u,v?)=?Φ(u),Ψ(v)?\forall u,v \in \mathbb{R^n},f(\langle u,v \rangle) = \langle \Phi(u),\Psi(v) \rangle$

這里的 $f(?u,v?)=π2arcsin?β?u,v?f(\langle u,v \rangle) =\frac{\pi}{2}\arcsin \beta \langle u,v \rangle$ ， $u_i',v_j'$ 的存在性由Mercer定理、Moore-Aronszajn定理保證。

于是
$βK(A)=∣∑i,jAi,jβ?ui,vj?∣=∣∑i,jAi,j2πarcsin??ui′,vj′?∣\beta K(A) = | \sum_{i,j}A_{i,j} \beta \langle u_i,v_j \rangle|= | \sum_{i,j}A_{i,j} \frac{2}{\pi} \arcsin \langle u_i',v_j'\rangle|$

根據Grothendieck恒等式，
$\sum_{i,j}A_{i,j} \frac{2}{\pi} \arcsin \langle u_i',v_j'\rangle|= | \sum_{i,j}A_{i,j} E[sgn \langle g,u_i\rangle sgn\langle g,v_j\rangle]| \\ =| \sum_{i,j}A_{i,j}Ex_i y_j| \le E| \sum_{i,j}A_{i,j}x_i y_j| =1$

所以 $\le 1/\beta$ ，接下來的問題就是 $β\beta$ 可以是什么，這就要涉及前面的那個變換怎么構造了。

引理
存在一個Hilbert空間 $H$ ，以及變換 $Φ,Ψ:Sn?1→S(H)\Phi,\Psi:S^{n-1} \to S(H)$ ，使得
$2πarcsin??Φ(u),Ψ(v)?=β?u,v?,β=2πln?(1+2)\frac{2}{\pi} \arcsin \langle \Phi(u),\Psi(v) \rangle = \beta \langle u,v \rangle ,\beta = \frac{2}{\pi}\ln(1+\sqrt{2})$

其中 $S (H)$ 是 $H$ 上的單位球面。

有了這個引理，我們就可以直接得到Grothendieck不等式了，下一講我們介紹這個引理的證明。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： UA MATH567 高维统计II 随机
下一篇： UA MATH567 高维统计II 随机

日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明 版本二：kernel trick

UA MATH567 高維統計II 隨機向量10 Grothendieck不等式的證明 版本二：kernel trick

總結

UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick

UA MATH567 高維統計II 隨機向量10 Grothendieck不等式的證明版本二：kernel trick