對于一個機器學習任務，通常需要考慮它是不是可學的 (learnable)
PAC學習給出了一個抽象的刻畫機器學習能力的框架，基于這個框架，有很多重要問題可以探討，例如: 某任務在什么樣的條件下可學得較好的模型? 某算法在什么條件下可以進行有效的學習？ 需要多少訓練樣本才能獲得較好的模型？

基本概念

給定樣本集 $D=\{(x_1\text{x1?}{x}_1,y_1),(x_2\text{x2?}{x}_2,y_2),...(x_m\text{xm?}{x}_m,y_m)\}$, $y_i\in \{?1,+1\}=\mathcal{Y}$, $x_i\in \mathcal{X}$,$D$中所有的樣本都是獨立同分布從$\mathcal{D}$采樣而得。
令$h$為從$\mathcal{X}$到$\mathcal{Y}$的一個映射, 其泛化誤差(generalization error)為:
$$E(h;\mathcal{D})=P_{(x,y)～\mathcal{D}}(h(x)=y)=E_{(x,y)～\mathcal{D}}[I[h(x)=y]]$$
$h$在$D$上的經驗誤差(empirical error)為：
$$\hat{E}(h;D)=\frac{1}{m}\sum _1^{m}I(h(x_i)=y_i)$$

由于$D$是$\mathcal{D}$的獨立同分布采樣，所以$h$經驗誤差的期望等于泛化誤差。令$?$為$E(h)$的上限，即$E(h)\le ?$。 通常用$?$表示模型應滿足的誤差要求，稱為誤差參數.
令$c$表示概念, 它是從樣本空間 $\mathcal{X}$ 到標記空間 $\mathcal{Y}$的映射。若任何樣本$(x,y)$, 有$c(x)=y$, 則稱$c$為目標概念。所有目標概念所組成的集合稱為 概念類$\mathcal{C}$

給定學習算法 $\mathcal{L}$，它考慮所有可能的假設空間$\mathcal{H}$. 假設空間是對于學習算法最大能力的整體刻畫。假設空間給定了算法所有可能的映射函數。若目標概念$c\in \mathcal{H}$, 則$\mathcal{H}$存在假設能將所有樣本正確分開，稱該學習問題對假設空間是可分的 （separable）； 若$c\in /\mathcal{H}$, 則稱假設空間不存在任何假設能將所有樣本完全正確分開，稱該學習問題對假設空間是不可分的 (non-separable)

PAC learning

PAC learning(Probably Approximately Correct)是關于機器學習可學性的完整的理論。解釋一下這個名字的由來：

Appromately Correct （近似正確）， 指的是學出的模型誤差比較小， 因為實現零誤差 (Absolutely Correct)是很困難且通常是沒有必要的，所以考慮的是 Approximately Correct

其次，由于數據隨機性的存在，也只能從概率上保證Approximately Correct的可能性是很大的 (存在一個概率的下界)

PAC Identify (PAC 辨識)： 對于$?>0,\delta <1$, 所有$c\in \mathcal{C}$和分布$\mathcal{D}$, 若存在學習算法$\mathcal{L}$, 其輸出假設$h\in \mathcal{H}$滿足：
$$P(E(h)\le ?)\ge 1?\delta$$
則稱學習算法$\mathcal{L}$能從假設空間中PAC辨識概念類$\mathcal{C}$

PAC learnable (PAC 可學): 令$m$表示從分布$\mathcal{D}$獨立同分布采樣得到樣本的數，$?>0,\delta <1$， 對所有分布$\mathcal{D}$，若存在學習算法 $\mathcal{L}$和多項式函數$poly()$，使得對于任何$m>=poly(1/?,1/\delta ,size(x),size(c))$， $\mathcal{L}$能從假設空間$\mathcal{H}$中PAC identify 概念類 $\mathcal{C}$, 就稱概念類$\mathcal{C}$是PAC可學的

Agnostic PAC Learnable (不可知PAC可學)：令$m$表示從分布$\mathcal{D}$獨立同分布采樣得到樣本的數，$?>0,\delta <1$， 對所有分布$\mathcal{D}$，若存在學習算法 $\mathcal{L}$和多項式函數$poly()$，使得對于任何$m>=poly(1/?,1/\delta ,size(x),size(c))$， $\mathcal{L}$能從假設空間中輸出滿足如下的假設$h$：
$$P(E(h)?\underset{h^{\prime }\in \mathcal{H}}{\min }E(h^{\prime })\le ?)>=1?\delta$$

PAC Learning Algorithm(PAC學習算法): 若學習算法$\mathcal{L}$使概念類$\mathcal{C}$為PAC可學， 且$\mathcal{L}$的時間復雜度也是多項式函數$poly(1/?,1/\delta ,size(x),size(c))$, 則稱概念類$C$是高效PAC可學的，$\mathcal{L}$稱概念類$C$的PAC學習算法

(Sample Complexity)樣本復雜度: 滿足PAC學習算法$\mathcal{L}$所需的最小樣本數量$m>=poly(1/?,1/\delta ,size(x),size(c))$， $\mathcal{L}$稱為學習算法$\mathcal{L}$的樣本復雜度

對于較為困難的學習問題，目標概念$c$往往不存在于假設空間$\mathcal{H}$中，也就是對于任何$h\in \mathcal{H}，\hat{E}(h)=0$, 也就是$\mathcal{H}$任意一個假設都會在訓練集出現或多或少的錯誤。
先給出Hoeffding不等式: 給定$m$個取值為$[0,1]$的獨立的隨機變量$x_1,x_2,...,x_m$， 對任意$?>0$， 有如下等式成立：
$$P(|\frac{1}{m}\sum _{i=1}^m{x}_i?\frac{1}{m}\sum _{i=1}^{m}E(x_i)|\ge ?)\le exp(?2m{?}^2))$$

根據Hoeffding不等式，有如下引理：若訓練集$D$中包含$m$個從分布$\mathcal{D}$上獨立同分布采樣而得到的樣本，$0<?<1$， 則對于任意 $h\in \mathcal{H}$ 有：

$$P(\hat{E}(h)?E(h)\ge ?)\le exp(?2m{?}^2)$$$$P(E(h)?\hat{E}(h)\ge ?)\le exp(?2m{?}^2)$$$$P(|\hat{E}(h)?E(h)|\ge ?)\le 2exp(?2m{?}^2)$$

同樣的，可以證明:若訓練集$D$中包含$m$個從分布$\mathcal{D}$上獨立同分布采樣而得到的樣本，則對于任意 $h\in \mathcal{H}$ , 下式至少以 $1?\delta$ 成立. (只需要令$\delta =2exp(?2m{?}^2)$即可證明)

$$\hat{E}(h)?\sqrt{\frac{1}{2m}ln\frac{2}{\delta }}<E(h)<\hat{E}(h)+\sqrt{\frac{1}{2m}ln\frac{2}{\delta }}$$

該引理表面，當樣本數目$m$較大時， $h$的經驗誤差可以看成其泛化誤差很好的近似

需要指出的是， PAC是一種分布無關的理論模型，因為它對分布$\mathcal{D}$沒有任何假設，$\mathcal{D}$可以是任何分布，但是訓練集和測試集必須來自同一個分布。另外PAC考慮的是針對某個概念類 $\mathcal{C}$而不是特定概念的可學性，目標概念 $c\in C$對于學習算法是未知的。

PAC學習中一個關鍵因素是假設空間$\mathcal{H}$的復雜度。$\mathcal{H}$越大，包含目標概念的可能性越大，但找到某個具體目標概念的難度也越大。 $\mathcal{H}$有限時，稱$\mathcal{H}$為有限假設空間；否則為無限假設空間。有限假設空間可以用概念個數來衡量其復雜度；無限假設空間的復雜度需要一些特別的技術 (VC維)。

PAC可學考慮的是學習算法$\mathcal{L}$輸出假設的泛化誤差與最優假設泛化誤差之間的差別，由于其真實分布未知，通常無法計算。不過由于經驗誤差和泛化誤差有密切聯系，可以借助經驗誤差進行比較。

泛化界

對于一個學習算法來說，判斷其性能好壞的依據是泛化誤差，即學習算法在未知數據上的預測能力。對于假設空間$\mathcal{H}$， 可以分為有限假設空和無限假設空間，根據目標概念$c$是否在$\mathcal{H}$中可以分為 可分情形 和 不可分情形
我們來分別討論一下。

泛化誤差上界

有限假設空間

可分情形

對于可分的有限假設空間$\mathcal{H}$， 目標概念$c\in \mathcal{H}$， 任何在訓練集上犯錯的假設都不是要找的目標概念，因此可以提出這些在訓練集上出錯的假設，留下與訓練集一致的假設。如果訓練集足夠大，最終剩下的假設一定會很少，從而能以較大的概率找到目標概念的近似。實際中訓練集往往是有限的，所有會剩下不止一個與訓練集一致的假設。在PAC學習理論中，只要訓練集$D$的大小能使學習算法$\mathcal{L}$至少以$1?\delta$的概率找到目標近似即可。當$\mathcal{H}$為可分的有限假設空間時，有下面的不等式成立

令$\mathcal{H}$為可分的有限假設空間，$D$為從$\mathcal{D}$獨立同分布采樣得到的大小為$m$的訓練集，學習算法$\mathcal{L}$基于訓練集$D$輸出與訓練集一致的假設$h\in \mathcal{H}$, 對于 $?>0,\delta <1$， 若$m\ge \frac{1}{?}(ln|\mathcal{H}|+ln\frac{1}{\delta })$, 有
$$P(E(h)\le ?)\ge 1?\delta$$
這表明$\mathcal{H}$為可分的有限假設空間時，學習算法輸出的泛化誤差依賴于假設空間的大小$|\mathcal{H}|$和訓練集的大小$m$。 隨著訓練集的樣本數目逐漸增加，泛化誤差的上界逐漸趨近于0, 收斂率為 $O(\frac{1}{m})$

不可分情形

不可分情形中，目標概念不在假設空間中，即假設空間中的每個假設都會或多或少的出現分類錯誤，我們的目標則是希望找到假設空間中泛化誤差最小假設的$?$近似。對于學習算法的輸出假設$h$來說，泛化誤差是在未見數據上的預測能力，但是在訓練集上的經驗誤差是直接可以觀察到的。當訓練集中樣本數目較大時，$h$的經驗誤差時泛化誤差的較好近似。

令$\mathcal{H}$為可分的有限假設空間，$D$為從$\mathcal{D}$獨立同分布采樣得到的大小為$m$的訓練集，$h\in \mathcal{H}$, 對于 $?>0,0<\delta <1$， 有
$$P(|E(h)?\hat{E}(h)|\le \sqrt{\frac{ln|\mathcal{H}|+ln(2/\delta )}{2m}})\ge 1?\delta$$
這表明$\mathcal{H}$為不可分的有限假設空間時，學習算法輸出的泛化誤差依賴于假設空間的大小$|\mathcal{H}|$和訓練集的大小$m$。 隨著訓練集的樣本數目逐漸增加，收斂率為 $O(\frac{1}{\sqrt{m}})$

無限假設空間

對于無限假設空間，需要從VC維和Rademacher復雜度的角度來分析泛化誤差界

有限VC維假設空間的泛化誤差

對于有限VC維的假設空間，泛化誤差的收斂率與VC維的大小有關，VC維越大，假設空間越復雜，泛化誤差收斂率越慢.

基于Rademacher復雜度的泛化誤差界

泛化誤差下界

可分情形

不可分情形

總結

以上是生活随笔為你收集整理的机器学习理论-PAC learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。