UA MATH567 高維統計III 隨機矩陣3 集網與覆蓋

在介紹隨機矩陣的concentration與尾部概率行為之前，我們先介紹一個在監督學習理論、高維統計與隨機矩陣等領域都非常有用的工具：$?$-net。這個工具來源于集值分析(set-valued analysis)，集值分析要分析的函數值為集合的映射（集值映射），$?$-net ($?$-網) 就是鄰域在集值映射上的推廣。

$?$-net的定義 假設$(T,d)$是一個度量空間，$K$是其中的一個集合，$?$是一個正實數，稱$N$是一個$?$-net，如果

$N?K$

$?x\in K$, $?x_0\in N$, $d(x,x_0)\le ?$

Covering Number 稱$K$的所有$?$-net的最小的cardinality是Covering Number。我們之所以關注最小這個概念是因為在$?$-net的定義中，我們并沒有限制覆蓋$K$的鄰域的數目，這使得即使是非常平凡的構造，$K$中每個點的鄰域的并集就是一個$?$-net，但這種構造并沒有提供比$K$本身更簡單近似或者提供更多的信息。因此我們希望找一個“最小”的$?$-net，這樣的$?$-net其實就是一些點的鄰域的并集，它的結構非常簡單，所以“最小”的$?$-net可以實現對$K$的近似。我們記$N(K,d,?)$為$K$的Covering Number，
$$N(K,d,?)=\inf \{|N|:N?K,?x\in K,?x_0\in N,d(x,x_0)\le ?\}$$

Covering Number與compactness：$??>0,N(K,d,?)<\infty ?\bar{K}$是緊集。

Packing Number 上面提到之所以需要定義Covering Number就是因為在$?$-net定義的時候我們對鄰域是沒有過多限制的，除了Covering Number外，另一種改進的思路是增加對鄰域的限制。記$P(K,d,?)$是$K$的packing number，
$$P(K,d,?)=\sup \{|P|:P?K,?x,y\in P,d(x,y)>?\}$$

我們可以簡單理解一下$P$集合的含義，因為$P$是一個點集，這個集合中的點兩兩之間的距離超過$?$（稱這樣的兩個點$?$-separated），所以$P$中的點的半徑為$?/2$的閉鄰域是兩兩不交的，我們找“最大”的一個這樣的集合，其實也是對$K$的一種近似方法，$P$就是一個框架，它所有的點的鄰域是就是對$K$的近似。

關于$?$-separated：$x,y$ $?$-separated等價于$B(x,\frac{?}{2})\cap B(y,\frac{?}{2})=?$；如果一個集合任意兩個元素都滿足這個關系，就稱這個集合$?$-separated

Covering與Packing的關系

在Covering Number與Packing Number的定義中，更詳細的說，$P(K,d,?)$中使得取到上確界的集合$P$也是一個$?$-net；

$P(K,d,2?)\le N(K,d,?)\le P(K,d,?)$

證明
第一條用下面的引理即可說明。
引理：假設$\mathcal{N}$是$K$的最大的$?$-separated子集，則$\mathcal{N}$是$K$的一個$?$-net，

我們用反證法，假設$\mathcal{N}$不是$?$-net，$?x\in K$, $?y\in \mathcal{N}$, $d(x,y)>?$，則$\mathcal{N}\cup \{x\}$是$K$的$?$-separated子集，這與$\mathcal{N}$是$K$的最大的$?$-separated子集矛盾，于是$\mathcal{N}$是$K$的一個$?$-net。

第二條。
i）記$\mathcal{N}$為$K$的最大的$?$-separated子集，則
$$P(K,d,?)=|\mathcal{N}|$$

根據上一條中的引理，$\mathcal{N}$是$?$-net，根據covering number的定義，
$$N(K,d,?)\le |\mathcal{N}|=P(K,d,?)$$

ii）記$\mathcal{P}$為$K$的最大的$2?$-separated子集，$\mathcal{N}$為$K$的任意的的$?$-separated子集，根據定義，$?x\in \mathcal{P}$，$?y\in \mathcal{N}$，$d(x,y)<?$，于是對任意$y$，至多存在一個$x$使得$d(x,y)<?$，因此$|\mathcal{P}|\le |\mathcal{N}|$，因為$\mathcal{N}$為$K$的任意的的$?$-separated子集，所以
$$P(K,d,2?)=|\mathcal{P}|\le \inf |\mathcal{N}|=N(K,d,?)$$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计III 随机矩阵3 集网与覆盖的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。