UA MATH567 高維統計IV Lipschitz組合10 隨機矩陣的Bernstein不等式

隨機矩陣的Bernstein不等式
假設$X_1,?,X_N$是一列獨立對稱零均值的隨機矩陣，${\sup }_i\Vert X_i\Vert \le K,a.s.$，則$?t>0$，
$$P(\Vert \sum _{i=1}^N{X}_i\Vert \ge t)\le 2n{e}^{?\frac{t^2/2}{{\sigma }^2+Kt/3}}$$

其中${\sigma }^2=\Vert {\sum }_{i=1}^{N}E{X}_i^2\Vert$。

引理 矩母函數的半正定序上界 假設$X$是一個$n$階實對稱陣零均值隨機向量，$\Vert X\Vert \le K,a.s.$，則當$|\lambda |<3/K$時，
$$e^{g(\lambda )E{X}^2}\ge E{e}^{\lambda X}$$

其中
$$g(\lambda )=\frac{{\lambda }^2/2}{1?|\lambda |K/3}$$

證明
主要思路是Taylor展開，對于$|z|<3$，
$$e^z=1+z+\frac{z^2}{2}+?=1+z+z^2\sum _{p=2}^{\infty }{z}^{p?2}/p!$$

可以驗證對于$p\ge 2$，
$$p!\ge 2\times 3^{p?2}$$

于是
$$e^z\le 1+z+z^2\sum _{p=2}^{\infty }{z}^{p?2}/(2\times 3^{p?2})=1+z+\frac{z^2}{2}\frac{1}{1?|z|/3}$$

接下來做換元，$z=\lambda x$，$|x|\le K$，$|\lambda |<3/K$，則
$$e^{\lambda x}\le 1+\lambda x+g(\lambda )x^2$$

我們需要的是矩陣形式，上一講介紹過矩陣函數，對于指數函數與多項式函數，我們可以直接用矩陣記號，于是

$$I+\lambda X+g(\lambda )X^2?e^{\lambda X}$$

根據積分的保序性，
$$I+g(\lambda )E{X}^2\ge E{e}^{\lambda X}$$

根據Bernoulli不等式
$$e^{g(\lambda )E{X}^2}\ge I+g(\lambda )E{X}^2$$

于是引理得證。

---

證明Bernstein不等式
記$$S=\sum _{i=1}^N{X}_i,\Vert S\Vert =\underset{i}{\max }|{\lambda }_i(S)|=\max (|{\lambda }_1(S)|,|{\lambda }_i(S)|)$$

我們用Markov不等式，
$$\begin{gathered} P({\lambda }_1(S)\ge t)=P(e^{\eta {\lambda }_1(S)}\ge e^{\eta t})\le e^{?\eta t}E{e}^{\eta {\lambda }_1(S)} \\ =e^{?\eta t}E{\lambda }_1(e^{\eta S})\le Etr(e^{\eta S}) \end{gathered}$$

最后一個不等式是因為對任意實對稱矩陣$A$
$$tr(A)=\sum _{i=1}^n{\lambda }_i(A)\ge {\lambda }_1(A)$$

用${\mathcal{F}}_N$表示$\sigma (X_1,?,X_N)$，也就是這個隨機矩陣序列的自然濾波，則
$$Etr(e^{\eta S})=E_{{\mathcal{F}}_{N?1}}{E}_{X_N}tr(e^{{\sum }_{i=1}^{N?1}\eta X_i+\eta X_N})$$

根據Lieb不等式，
$$E_{{\mathcal{F}}_{N?1}}{E}_{X_N}tr(e^{{\sum }_{i=1}^{N?1}\eta X_i+\eta X_N})\le E_{{\mathcal{F}}_{N?1}}tr(e^{{\sum }_{i=1}^{N?1}\eta X_i+\log E_{X_N}{e}^{\eta X_N}})$$

這樣就得到了關于這個矩陣序列的遞歸式，通過遞歸我們有
$$Etr(e^{\eta S})\le tr(e^{{\sum }_{i=1}^N\log E{e}^{\eta X_i}})$$

根據引理，
$$E{e}^{\eta X_i}\le e^{g(\eta )E{X}_i^2}$$

于是
$$tr(e^{{\sum }_{i=1}^N\log E{e}^{\eta X_i}})\le tr(e^{g(\eta ){\sum }_{i=1}^{N}E{X}_i^2})=tr(e^{g(\eta )z})$$

其中$z={\sum }_{i=1}^{N}E{X}_i^2$，這是一個$n\times n$的實對稱矩陣，
$$tr(e^{g(\eta )z})\le n{\lambda }_1(e^{g(\eta )z})=n{e}^{g(\eta ){\lambda }_1(z)}=n{e}^{g(\eta )\Vert z\Vert }=n{e}^{g(\eta ){\sigma }^2}$$

第一個不等號是因為對任意實對稱矩陣$A$
$$tr(A)=\sum _{i=1}^n{\lambda }_i(A)\le n{\lambda }_1(A)$$

綜上，
$$P({\lambda }_1(S)\ge t)\le n{e}^{?\eta t}{e}^{g(\eta ){\sigma }^2}$$

選擇使得這個上界最小的$\eta$，比如可以選擇$\lambda =t/({\sigma }^2+Kt/3)$，則
$$P({\lambda }_1(S)\ge t)\le n{e}^{?\frac{t^2/2}{{\sigma }^2+\frac{Kt}{3}}}$$

我們可以重復這個過程，分析${\lambda }_n(S)$，即可得到Bernstein不等式。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。