UA MATH567 高維統(tǒng)計(jì)IV Lipschitz組合2 Spherical Distribution的Lipschitz函數(shù)

這一講我們先介紹最簡(jiǎn)單的高維分布，也就是球面分布的Lipschitz函數(shù)的concentration。

我們?cè)谏仙喜糠蛛S機(jī)向量第三講介紹過(guò)這個(gè)分布，$X～Unif(\sqrt{n}{S}^{n?1})$，其中$S^{n?1}$表示$n$維空間中的單位球面，這個(gè)符號(hào)說(shuō)明$X$在半徑在$\sqrt{n}$的球面上服從均勻分布，它是零均值各向同性的，并且當(dāng)$n$足夠大時(shí)，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n?1})$。

定理 球面分布的Lipschitz函數(shù)是亞高斯的
$X～Unif(\sqrt{n}{S}^{n?1})$，$f:\sqrt{n}{S}^{n?1}\to \mathbb{R}$是Lipschitz函數(shù)，則$?C>0$
$${\Vert f(X)?Ef(X)\Vert }_{{\psi }_2}\le C{\Vert f\Vert }_{Lip}$$

其中${\Vert f\Vert }_{Lip}$是$f$的Lipschitz范數(shù)。

評(píng)注
根據(jù)亞高斯性，$?c>0$
$$P(|f(X)?Ef(X)|\ge t)\le 2e^{?c{t}^2/{\Vert f\Vert }_{Lip}^2}$$

與前兩部分的結(jié)論相比，這個(gè)結(jié)果說(shuō)明隨機(jī)向量的Lipschitz函數(shù)具有與線性函數(shù)類似的concentration property。

這個(gè)定理的證明有一點(diǎn)點(diǎn)復(fù)雜，需要用到一些其他的結(jié)果，這里先介紹一下要用到的結(jié)論：

Isoperimetric不等式1 歐氏空間中，給定體積則表面積最小的一定是球體，基于這個(gè)觀察我們有：
$$A_{?}=\{x\in {\mathbb{R}}^n:?y\in A,{\Vert x?y\Vert }_2\le ?\}=A+?B_2^n$$

第二個(gè)等號(hào)后的$B_2^n$表示$n$維單位球，$+$表示Minkowski和，這個(gè)結(jié)論看似顯然但證明復(fù)雜，所以這里不展示。

Isoperimetric不等式2 球面上封閉曲線圍成的面積一定時(shí)，封閉曲線為圓形需要的長(zhǎng)度最短，基于這個(gè)觀察我們有：
$$A_{?}=\{x\in S^{n?1}:?y\in A,{\Vert x?y\Vert }_2\le ?\}$$

則$A_{?}$是$S^{n?1}$與過(guò)球心的某個(gè)圓錐的交集，進(jìn)一步地，如果定義$\sigma$為normalized area，使得$?A?S^{n?1},\sigma (A)$表示將球面縮放為$S^{n?1}$后，$A$對(duì)應(yīng)的面積，如果$\sigma (A)\ge 1/2$，則
$$\sigma (A_{?})\ge 1?e^{?c{?}^2},?c>0$$

證明
用$H$表示下半球面：
$$H=\{x=(x_1,?,x_n)\in \sqrt{n}{S}^{n?1}:x_1\le 0\}$$

根據(jù)$\sigma$的定義，$\sigma (H)=1/2$，引入隨機(jī)向量$X～Unif(\sqrt{n}{S}^{n?1})$，于是
$$\begin{gathered} \sigma (H_{?})=P(X\in H_{?})\ge P(X\in \sqrt{n}{S}^{n?1}\cap \{x_1\le ?/\sqrt{2}\}) \\ =P(X_1\le ?/\sqrt{2})\ge 1?e^{?c{?}^2},?c>0 \end{gathered}$$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$X_1$是亞高斯的。因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$\sigma (A)\ge 1/2$，于是$$\sigma (A_{?})\ge \sigma (H_{?})\ge 1?e^{?c{?}^2}$$

說(shuō)明
$$H_{?}=\{x\in \sqrt{n}{S}^{n?1}:?y\in H,{\Vert x?y\Vert }_2\le ?\}$$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$X$限制在$\sqrt{n}{S}^{n?1}$上，要使$X$與$H$上的點(diǎn)最近距離不超過(guò)$?$，一種可行的操作是限制一個(gè)坐標(biāo)使其不超過(guò)$?/\sqrt{2}$，于是
$$H_{?}?\sqrt{n}{S}^{n?1}\cap \{x_1\le ?/\sqrt{2}\}$$

---

下面我們開(kāi)始證明那個(gè)定理：

證明
假設(shè)${\Vert f\Vert }_{Lip}=1$，不然我們總是可以分析$f/{\Vert f\Vert }_{Lip}$，

第一步：說(shuō)明$f(X)?M$是亞高斯的，其中$M$是$f(X)$的中位數(shù)，也就是
$$P(f(X)\ge M)\ge 1/2,P(f(X)\le M)\ge 1/2$$

定義
$$A=\{x\in \sqrt{n}{S}^{n?1}:f(x)\le M\}$$

則
$$\sigma (A)=P(X\in A)=P(f(X)\le M)\ge 1/2$$

根據(jù)Isoperimetric不等式2，
$$\sigma (A_t)\ge 1?e^{?c{t}^2},?c>0$$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$x\in A_t$說(shuō)明$?y\in A$, ${\Vert x?y\Vert }_2\le t$，根據(jù)Lipschitz函數(shù)的定義：
$$f(x)?f(y)\le {\Vert f\Vert }_{Lip}{\Vert x?y\Vert }_2\le t$$

$y\in A$說(shuō)明$f(y)\le M$，所以
$$f(x)\le f(y)+t\le M+t$$

因此

$$P(f(X)?M\le t)\ge P(X\in A_t)=\sigma (A_t)\ge 1?e^{?c{t}^2}$$

類似地，對(duì)于$f(X)?M\ge ?t$，我們有
$$P(f(X)?M\ge ?t)\ge 1?e^{?c{t}^2}$$

所以
$$P(|f(X)?M|\ge t)\le 2e^{?c{t}^2}$$

第二步：使用centering技巧，假設(shè)$X$是亞高斯隨機(jī)變量，則$X?EX$也是亞高斯隨機(jī)變量，并且存在常數(shù)$C$使得
$${\Vert X?EX\Vert }_{{\psi }_2}\le C{\Vert X\Vert }_{{\psi }_2}$$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$f(X)?M$是亞高斯的，于是$f(X)?M?E[f(X)?M]=f(X)?Ef(X)$也是亞高斯的，證畢。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 Isoperimetric不等式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。