UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数
UA MATH567 高維統計IV Lipschitz組合3 高斯分布的Lipschitz函數
首先我們在歐氏空間(Rn,B(Rn))(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n))(Rn,B(Rn))上建立高斯概率測度γn\gamma_nγn?，滿足?B∈B(Rn)\forall B \in \mathcal{B}(\mathbb{R}^n)?B∈B(Rn)，
γn(B)=∫B1(2π)n/2e?∥x∥222dx\gamma_n(B) = \int_B \frac{1}{(2\pi)^{n/2}}e^{-\frac{\left\| x\right\|_2^2}{2}}dxγn?(B)=∫B?(2π)n/21?e?2∥x∥22??dx
則(Rn,B(Rn),γn)(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n),\gamma_n)(Rn,B(Rn),γn?)成為一個概率空間。
Gaussian Isoperimetric不等式 ??>0\forall \epsilon>0??>0，arg?min?A∈B(Rn)γn(A?)\argmin_{A \in \mathcal{B}(\mathbb{R}^n)} \gamma_n(A_{\epsilon})A∈B(Rn)argmin?γn?(A??)是一個half space。這里半空間指的是
{x=(x1,?,xn)∈Rn:?i∈{1,?,n},xi≤c,c∈R}\{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:\exists i \in \{1,\cdots,n\},x_i \le c,c \in \mathbb{R}\}{x=(x1?,?,xn?)∈Rn:?i∈{1,?,n},xi?≤c,c∈R}
并且如果γn(A)≥1/2\gamma_n(A) \ge 1/2γn?(A)≥1/2，則γ(At)≥1?e?ct2,?c>0\gamma(A_t) \ge 1-e^{-ct^2},\exists c>0γ(At?)≥1?e?ct2,?c>0。
證明
我們簡單討論一下并且之后的一段。
用HHH表示一個半空間：
{x=(x1,?,xn)∈Rn:x1≤0}\{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:x_1\le 0\}{x=(x1?,?,xn?)∈Rn:x1?≤0}
則γn(H)=1/2\gamma_n(H)=1/2γn?(H)=1/2，于是
γn(Ht)=P(X∈Ht)=P(X1≤t)≥1?e?t2/2\gamma_n(H_t) = P(X \in H_t) = P(X_1 \le t) \ge 1-e^{-t^2/2}γn?(Ht?)=P(X∈Ht?)=P(X1?≤t)≥1?e?t2/2
這是標準正態分布的tail bound。如果γn(A)≥1/2\gamma_n(A) \ge 1/2γn?(A)≥1/2，顯然
γ(At)≥γ(Ht)≥1?e?t2/2\gamma(A_t) \ge \gamma(H_t) \ge 1-e^{-t^2/2}γ(At?)≥γ(Ht?)≥1?e?t2/2
Gaussian concentration不等式
X～N(0,In)X \sim N(0,I_n)X～N(0,In?)，f:Rn→Rf:\mathbb{R}^n \to \mathbb{R}f:Rn→R是一個Lipschitz函數，則
∥f(X)?Ef(X)∥ψ2≤C∥f∥Lip\left\| f(X) - Ef(X) \right\|_{\psi_2} \le C \left\| f \right\|_{Lip}∥f(X)?Ef(X)∥ψ2??≤C∥f∥Lip?
證明
這個不等式的證明技術與上一講的球面分布的Lipschitz函數一樣，先說明f(X)?Mf(X)-Mf(X)?M是亞高斯的，然后用centering技巧得到結論。假設∥f∥Lip=1\left\| f\right\|_{Lip}=1∥f∥Lip?=1，不然我們總是可以分析f/∥f∥Lipf/\left\| f\right\|_{Lip}f/∥f∥Lip?，
第一步：f(X)?Mf(X)-Mf(X)?M是亞高斯的，其中MMM是f(X)f(X)f(X)的中位數，也就是
P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2P(f(X) \ge M) \ge 1/2,P(f(X) \le M) \ge 1/2P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2
定義
A={x∈Rn:f(x)≤M}A = \{x \in \mathbb{R}^n:f(x) \le M\}A={x∈Rn:f(x)≤M}
則
σ(A)=P(X∈A)=P(f(X)≤M)≥1/2\sigma(A) = P(X \in A) = P(f(X) \le M) \ge 1/2σ(A)=P(X∈A)=P(f(X)≤M)≥1/2
根據Gaussian Isoperimetric不等式，
γn(At)≥1?e?t2/2\gamma_n(A_t) \ge 1-e^{-t^2/2}γn?(At?)≥1?e?t2/2
因為x∈Atx \in A_tx∈At?說明?y∈A\exists y \in A?y∈A, ∥x?y∥2≤t\left\| x-y \right\|_2 \le t∥x?y∥2?≤t，根據Lipschitz函數的定義：
f(x)?f(y)≤∥f∥Lip∥x?y∥2≤tf(x)-f(y) \le \left\| f \right\|_{Lip}\left\| x-y \right\|_2 \le tf(x)?f(y)≤∥f∥Lip?∥x?y∥2?≤t
y∈Ay \in Ay∈A說明f(y)≤Mf(y) \le Mf(y)≤M，所以
f(x)≤f(y)+t≤M+tf(x) \le f(y)+t \le M+tf(x)≤f(y)+t≤M+t
因此
P(f(X)?M≤t)≥P(X∈At)=σ(At)≥1?e?t2/2P(f(X)-M \le t) \ge P(X \in A_t)=\sigma(A_t) \ge 1-e^{-t^2/2}P(f(X)?M≤t)≥P(X∈At?)=σ(At?)≥1?e?t2/2
類似地，對于f(X)?M≥?tf(X)-M \ge -tf(X)?M≥?t，我們有
P(f(X)?M≥?t)≥1?e?t2/2P(f(X)-M \ge -t) \ge 1-e^{-t^2/2}P(f(X)?M≥?t)≥1?e?t2/2
所以
P(∣f(X)?M∣≥t)≤2e?t2/2P(|f(X)-M| \ge t) \le 2e^{-t^2/2}P(∣f(X)?M∣≥t)≤2e?t2/2
第二步：使用centering技巧，假設XXX是亞高斯隨機變量，則X?EXX-EXX?EX也是亞高斯隨機變量，并且存在常數CCC使得
∥X?EX∥ψ2≤C∥X∥ψ2\left\| X-EX \right\|_{\psi_2} \le C\left\| X \right\|_{\psi_2}∥X?EX∥ψ2??≤C∥X∥ψ2??
因為f(X)?Mf(X)-Mf(X)?M是亞高斯的，于是f(X)?M?E[f(X)?M]=f(X)?Ef(X)f(X)-M-E[f(X)-M]=f(X)-Ef(X)f(X)?M?E[f(X)?M]=f(X)?Ef(X)也是亞高斯的，證畢。
總結
以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH567 高维统计IV Li
- 下一篇： UA MATH567 高维统计IV Li