當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

UA MATH567 高维统计III 随机矩阵3 集网与覆盖

發布時間：2025/4/14 编程问答 25 豆豆

生活随笔收集整理的這篇文章主要介紹了 UA MATH567 高维统计III 随机矩阵3 集网与覆盖小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UA MATH567 高維統計III 隨機矩陣3 集網與覆蓋

在介紹隨機矩陣的concentration與尾部概率行為之前，我們先介紹一個在監督學習理論、高維統計與隨機矩陣等領域都非常有用的工具： $?\epsilon$ -net。這個工具來源于集值分析(set-valued analysis)，集值分析要分析的函數值為集合的映射（集值映射）， $?\epsilon$ -net ( $?\epsilon$ -網) 就是鄰域在集值映射上的推廣。

$?\epsilon$ -net的定義 假設 $(T, d)$ 是一個度量空間， $K$ 是其中的一個集合， $?\epsilon$ 是一個正實數，稱 $N$ 是一個 $?\epsilon$ -net，如果

N?KN\subset K

?x∈K\forall x \in K

?x0∈N\exists x_0 \in N

d(x,x0)≤?d(x,x_0)\le \epsilon

Covering Number 稱 $K$ 的所有 $?\epsilon$ -net的最小的cardinality是Covering Number。我們之所以關注最小這個概念是因為在 $?\epsilon$ -net的定義中，我們并沒有限制覆蓋 $K$ 的鄰域的數目，這使得即使是非常平凡的構造， $K$ 中每個點的鄰域的并集就是一個 $?\epsilon$ -net，但這種構造并沒有提供比 $K$ 本身更簡單近似或者提供更多的信息。因此我們希望找一個“最小”的 $?\epsilon$ -net，這樣的 $?\epsilon$ -net其實就是一些點的鄰域的并集，它的結構非常簡單，所以“最小”的 $?\epsilon$ -net可以實現對 $K$ 的近似。我們記 $N(K,d,?)N(K,d,\epsilon)$ 為 $K$ 的Covering Number，
$N(K,d,?)=inf?{∣N∣:N?K,?x∈K,?x0∈N,d(x,x0)≤?}N(K,d,\epsilon)=\inf\{|N|:N\subset K,\forall x \in K, \exists x_0 \in N, d(x,x_0)\le \epsilon\}$

Covering Number與compactness： $??>0,N(K,d,?)<∞?Kˉ\forall \epsilon>0,N(K,d,\epsilon)<\infty \Leftrightarrow \bar K$ 是緊集。

Packing Number 上面提到之所以需要定義Covering Number就是因為在 $?\epsilon$ -net定義的時候我們對鄰域是沒有過多限制的，除了Covering Number外，另一種改進的思路是增加對鄰域的限制。記 $P(K,d,?)P(K,d,\epsilon)$ 是 $K$ 的packing number，
$P(K,d,?)=sup?{∣P∣:P?K,?x,y∈P,d(x,y)>?}P(K,d,\epsilon)=\sup\{|P|:P\subset K,\forall x,y \in P, d(x,y)> \epsilon\}$

我們可以簡單理解一下 $P$ 集合的含義，因為 $P$ 是一個點集，這個集合中的點兩兩之間的距離超過 $?\epsilon$ （稱這樣的兩個點 $?\epsilon$ -separated），所以 $P$ 中的點的半徑為 $?/2\epsilon/2$ 的閉鄰域是兩兩不交的，我們找“最大”的一個這樣的集合，其實也是對 $K$ 的一種近似方法， $P$ 就是一個框架，它所有的點的鄰域是就是對 $K$ 的近似。

關于 $?\epsilon$ -separated： $x, y$ $?\epsilon$ -separated等價于 $B(x,?2)∩B(y,?2)=?B(x,\frac{\epsilon}{2}) \cap B(y,\frac{\epsilon}{2}) = \phi$ ；如果一個集合任意兩個元素都滿足這個關系，就稱這個集合 $?\epsilon$ -separated

Covering與Packing的關系

在Covering Number與Packing Number的定義中，更詳細的說，

P(K,d,?)P(K,d,\epsilon)

中使得取到上確界的集合

P

也是一個

?\epsilon

-net；

P(K,d,2?)≤N(K,d,?)≤P(K,d,?)P(K,d,2\epsilon) \le N(K,d,\epsilon) \le P(K,d,\epsilon)

證明
第一條用下面的引理即可說明。
引理：假設 $N\mathcal{N}$ 是 $K$ 的最大的 $?\epsilon$ -separated子集，則 $N\mathcal{N}$ 是 $K$ 的一個 $?\epsilon$ -net，

我們用反證法，假設 $N\mathcal{N}$ 不是 $?\epsilon$ -net， $?x∈K\exists x \in K$ , $?y∈N\forall y \in \mathcal{N}$ , $d(x,y)>?d(x,y)>\epsilon$ ，則 $N∪{x}\mathcal{N} \cup \{x\}$ 是 $K$ 的 $?\epsilon$ -separated子集，這與 $N\mathcal{N}$ 是 $K$ 的最大的 $?\epsilon$ -separated子集矛盾，于是 $N\mathcal{N}$ 是 $K$ 的一個 $?\epsilon$ -net。

第二條。
i）記 $N\mathcal{N}$ 為 $K$ 的最大的 $?\epsilon$ -separated子集，則
$P(K,d,?)=∣N∣P(K,d,\epsilon) = |\mathcal{N}|$

根據上一條中的引理， $N\mathcal{N}$ 是 $?\epsilon$ -net，根據covering number的定義，
$N(K,d,?)≤∣N∣=P(K,d,?)N(K,d,\epsilon) \le |\mathcal{N}| = P(K,d,\epsilon)$

ii）記 $P\mathcal{P}$ 為 $K$ 的最大的 $2?2\epsilon$ -separated子集， $N\mathcal{N}$ 為 $K$ 的任意的的 $?\epsilon$ -separated子集，根據定義， $?x∈P\forall x \in \mathcal{P}$ ， $?y∈N\exists y \in \mathcal{N}$ ， $d(x,y)<?d(x,y)<\epsilon$ ，于是對任意 $y$ ，至多存在一個 $x$ 使得 $d(x,y)<?d(x,y)<\epsilon$ ，因此 $∣P∣≤∣N∣|\mathcal{P}| \le |\mathcal{N}|$ ，因為 $N\mathcal{N}$ 為 $K$ 的任意的的 $?\epsilon$ -separated子集，所以
$P(K,d,2?)=∣P∣≤inf?∣N∣=N(K,d,?)P(K,d,2\epsilon) = |\mathcal{P}| \le \inf |\mathcal{N}|=N(K,d,\epsilon)$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计III 随机矩阵3 集网与覆盖的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： UA MATH563 概率论的数学基础
下一篇： UA MATH567 高维统计III 随