這篇文章主要總結 PAC 學習框架以及樣本復雜度相關的東西，大致來說就是:要保證以概率 $1?\delta$ 使得 generalized error 小于 $?$ 需要多大的樣本復雜度，以及時間復雜度才是好的。

問題及約定

符號約定

兩個 error 符號

就是我們常說的 train error 與 true error

接下來是定義我們要研究的問題

簡單的來說就是 依賴于 $m,H,?,\delta$ 這四個東西，我們找到一個 樣本復雜度以及計算復雜度的界.或者說找到他們的一些關系

定義

consistent hypothesis:

$consistent(h,S)|=h(x)=c(x),?(x,c(x))\in S$

一個 假設稱為是 consistent 的，if and only if, $?(x,c(x))\in S$ 都有，$h(x)=c(x)$

Version Space:

$V{S}_{H,S}:\{h\in H|consistent(h,S)\}$

$??exhausted$

$V{S}_{H,S}$ 稱為 $??exhausted$,當且僅當,

$?h\in H,erro{r}_D(h)<?$

throme

這個定理的證明會在文末給出，接下來的核心就在于理解這個定理

理解

這個定理的前提:

$Hfinite$

$c\in H$

注意這個定理說的是 not，將這個定理翻譯一下就是

$\mathrm{Pr}(?h\in H,(erro{r}_S(h)=0)\&(erro{r}_D(h)>?))<|H|{\exp }^{??m}$

也就是說 如果 $erro{r}_S(h)=0$, 那么 $erro{r}_D(h)<?$ 的概率至少是 $|H|{\exp }^{??m}$

如果我們想要讓 $|H|{\exp }^{??m}<\delta$, 那么我們需要

$m>{?}^{?1}(\log (|H|)+\log ({\delta }^{?1}))$,這么多變量

if $erro{r}_S(h)=0$ 那么 至少我們有 $1?\delta$ 的概率保證

$erro{r}_D(h)\le m^{?1}(\log (|H|)+\log ({\delta }^{?1}))$

PAC learnable

簡單的說，一個算法是 PAC(Probability Approximation Correct) 可學習的，要滿足，時間復雜度和樣本復雜度都是多項式的

agnostic learning

上面都說的是 $c\in H$ ，那如果， $c\in /H$ 呢？

根據 Hoeffding 不等式(see wiki)

fix a $h$,

$\mathrm{Pr}(erro{r}_D(h)?erro{r}_S(h)>?)\le 2{\exp }^{?2m{?}^2}$

修改前面的定理，

$\mathrm{Pr}(?h\in H,erro{r}_D(h)?erro{r}_S(h)>?)<|H|2{\exp }^{?2m{?}^2}$

因此在概率為 $\delta$ 的情況下，需要的樣本 bound

就可以很容易求解了

erm

最后不加證明的給出

即 如果我們知道 $er{r}_S(h)$ 那么 $erro{r}_D(h)$ 的bound 在哪里?
所有的證明和材料，都可見reference

reference

10716 f16 Eric Xing

10715 f18 Maria-Florina Balcan

版權聲明

本作品為作者原創文章，采用知識共享署名-非商業性使用-相同方式共享 4.0 國際許可協議

作者: taotao

轉載請保留此版權聲明，并注明出處

總結

以上是生活随笔為你收集整理的PAC与样本复杂度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。