??當大家通過示例設計并分析算法的時候，有沒有可能對以下幾個問題產生疑慮：

• 什么樣的算法能夠有效地學習數據特征？
• 學習起來的困難是什么？
• 用多少示例去訓練算法才能叫成功的訓練算法？
• 存在普遍的模型去學習嗎？

??這篇文章就通過介紹PAC學習框架來解決這些問題。PAC學習框架（Probably Approximately Correct (PAC) learning framework）就是從能夠將算法訓練成功的樣本數量的角度出發，定義了一系列的可學習概念。例如，學習算法的樣本復雜度（sample complexity），時間空間復雜度等等，都是一些決定算法執行時間效率或者花銷等方面的概念。

??接下來，我將講述PAC學習框架，然后在假設集有限的情況下給出了該框架下的一般學習保證，既適用于假設集包含要學習的概念的一致情況，也適用于相反的不一致情況。

一、PAC學習模型

??首先介紹一些關于進入PAC學習框架的數學概念，在以后的博文更新中也有可能會用到。

??用$\mathcal{X}$表示所有可能的示例集合，有的時候也指的是輸入空間（input space）。用$\mathcal{Y}$來表示樣本所有可能的標簽或目標值的集合。由于二分類在生活中和機器學習中是最常見的，所以只討論$\mathcal{Y}$被簡化為二分類（兩個標簽）的情況，即$\mathcal{Y}=\{0,1\}$。以后如果有多分類再將二分類問題推廣到一般的情況。

??先定義一個概念 $c$：$\mathcal{X}$到$\mathcal{Y}$的映射用$\mathcal{X}\to \mathcal{Y}$來表示。則$c$可以用來表示$\mathcal{X}$的子集。在下面的例子中，我們可以將要學習的概念等價地引用為從$\mathcal{X}$到$\{0,1\}$的映射，或者$\mathcal{X}$子集的映射。概念類是我們希望學習的一組概念，用$c$表示。例如，它可以是世界上所有西瓜的集合，但我們需要學習的就是某些特定的西瓜，并不是全部，即$\mathcal{X}$子集。

??機器學習中的一個重要問題就是預測樣本分布問題，這就需要在僅有的樣本中，預測新的樣本與已有樣本必須是獨立同分布（$i.i.d.$）的關系，即所有的樣本均在同一個未知的分布$D$中。學習者需要考慮的情況就是能夠找到$\mathcal{X}\to \mathcal{Y}$，就是要找到能最好的能夠映射的算法模型，這些模型的集合稱為假設集（ hypothesis set），但這個假設集可能和概念$c$不一致。如果收到一個來自分布$D$的樣本集$S=(x_1,....,x_m)$和標簽$(c(x_1),.....,c(x_m)))$，其中$c\in C$是基于一個具體的目標概念來學習的。該任務是根據概念$c$在使用有標簽的樣本下找到具有最小泛化誤差的假設集$h_S\in H$。下面將會介紹一下用$R(h)$來表示的假設集$h_s\in H$的泛化誤差的含義。

定義1：泛化誤差（generalization error）

??在分布$D$下的假設集$h_s\in H$（目標概念$c$）下的泛化誤差（$h$的風險）是：

$$R(h)=\underset{x～D}{\mathrm{Pr}}[h(x)=c(x)]=\underset{x～D}{E}[1_{h(x)=c(x)}]$$其中$1_w$是指示函數，不等式成立返回值為$1$，不等式不成立返回$0$。

??由于分布$D$和目標概念$c$都是未知的，所以我們無法直接獲得假設集的泛化誤差。所以我們可以在有標簽的樣本集$S$上測量假設集的經驗誤差。

定義2：經驗誤差（ empirical error）

??在分布$D$下的假設集$h_s\in H$（目標概念$c$）下的經驗誤差（$h$的經驗風險）是：
$$R(h)=\frac{1}{m}\sum _{i=1}^m{1}_{h(x)=c(x)}$$

??顯然，經驗風險就是樣本集$S$的平均誤差，樣本的泛化誤差就是在分布$D$上的經驗誤差的期望：

$$R(h)=E[R(h)]$$

??所以，我們將會有如下的推導公式：

$$\underset{S～D^m}{E}[R(h)]=\frac{1}{m}\sum _{i=1}^m\underset{x～D^m}{E}[1_{h(x_i)=c(x_i)}]=\frac{1}{m}\sum _{i=1}^m\underset{x～D^m}{E}[1_{h(x)=c(x)}]$$

這對于樣本集$S$中的任意$x$均成立。因此，

$$\underset{S～D^m}{E}[R(h)]=\underset{S～D^m}{E}[1_{h(x)=c(x)}]=\underset{x～D}{E}[1_{h(x)=c(x)}]=R(h)$$

??下面開始介紹概率近似正確（PAC）學習框架。對于任意一個$x\in \mathcal{X}$的時間運行消耗上限近似為$O(n)$。

定義3：PAC可學習

??對于一個概念$c$可稱為是PAC可學習，如果對于任何一個$?>0$，$\delta >0$均存在一個算法$\mathcal{A}$和一個多項式函數$ploy(?,?,?,?)$對于$\mathcal{X}$上的分布$D$和任何目標概念$c\in C$，則當$m\ge ploy(\frac{1}{?},\frac{1}{\delta },n,size(c))$：

$$\underset{S～D^m}{\mathrm{Pr}}[R(h_S)\le ?]\ge 1?\delta$$

如果像這種算法$\mathcal{A}$存在的話，我們就稱叫做在$C$上的PAC學習算法。也就是說在樣本$S$的假設集$h$上的泛化誤差小于$?$的概率是大于等于$1?\delta$的，也就是保證了算法模型在很大情況下下會出現很小的泛化誤差。

??關于PAC定義的幾個關鍵點需要強調一下。首先，PAC框架是一個無分布的模型：沒有對從中抽取示例的分布$D$做任何特定的假設。其次，用于定義誤差的訓練樣本和測試樣本必須來自相同的分布$D$。這是泛化在大多數情況下成為可能的必要條件。最后，PAC框架處理概念類$C$的可學習性問題，而不是特定概念。注意，對于算法來說，概念類$C$是已知的，但是對我們來說目標概念$c\in C$當然是未知的。

二、有限假設集的保證——一致情況

??在這一部分，對于假設集的候選項$|H|$是有限的情況下，我們提出一個樣本復雜度邊界，即泛化邊界。考慮到一致性假設，我們將假設目標概念$c$在$H$中。

定理1：學習邊界——有限假設集$H$的一致情況

??$H$是有限假設集$\mathcal{X}$到$\mathcal{Y}$的映射。$\mathcal{A}$是對于任何目標概念$c\in H$的一個算法并且獨立同分布的樣本$S$返回了一個一致性假設$h_S$：$R(h_S)=0$。對任何一個$?,\delta >0$，不等式${\mathrm{Pr}}_{S～D^m}[R(h_S)\le ?]\ge 1?\delta$均成立，如果：

$$m\ge \frac{1}{?}(log|H|+log\frac{1}{\delta })$$

此樣本復雜度的結果導致了允許下面這個描述泛化邊界的這個等價的語句成立：對于任意的$?,\delta >0$，有至少$1?\delta$的概率，

$$R(h_S)\le \frac{1}{m}(log|H|+log\frac{1}{\delta })$$

關于定理的證明過程后續再補。

三、有限假設集的保證——不一致情況

??在大多數情況下，假設集$H$可能不存在和帶標簽樣本的一致性。事實上，這是實踐中的典型案例，學習問題可能有些困難，或者概念類比學習算法使用的假設集更復雜。然而，在訓練樣本上不一致的假設和少量的錯誤可能是有用的，正如我們將看到的，可以受益于某些假設下的有利保證。本節針對這種不一致的情況和有限的假設集，給出了精確的學習保證。

??下述公式將使用Hoeffding不等式，是與單一假設集的泛化誤差和經驗誤差有所關聯。

推論1：

??對于$?>0$，讓$S$表示大小為$m$獨立同分布的樣本集。則對于任何一個假設集$h$：$X\to \{0,1\}$，以下不等式成立：

$$\underset{S～D^m}{\mathrm{Pr}}[R(h)?R(h)\ge ?]\le exp(?2m{?}^2)$$
$$\underset{S～D^m}{\mathrm{Pr}}[R(h)?R(h)\le ??]\le exp(?2m{?}^2)$$

有上述兩個公式可以合并為：

$$\underset{S～D^m}{\mathrm{Pr}}[|R(h)?R(h)|\ge ?]\le 2exp(?2m{?}^2)$$

具體的證明過程需要用到霍夫丁不等式，霍夫丁不等式的原型是：

??設$S_m={\sum }_{i=1}^m{X}_i$是獨立隨機變量$X_1,X_2,......X_m$之和，$X_i\in [a_i,b_i]$，則對任意的$t>0$，以下不等式成立：
$$P(S_m?E{S}_m\ge t)=exp\{\frac{?2t^2}{{\sum }_{i=1}^m(b_i?a_i{)}^2}\}$$
$$P(E{S}_m?S_m\ge t)=exp\{\frac{?2t^2}{{\sum }_{i=1}^m(b_i?a_i{)}^2}\}$$

將霍夫丁不等式中的量進行替換，就可得到推論中的式子。

推論2：泛化邊界——單一假設

??對于一個假設集$h$：$X\to \{0,1\}$。對任意的$\delta >0$，以下不等式至少以$1?\delta$的概率成立：

$$R(h)\le R(h)+\sqrt{\frac{log\frac{2}{\delta }}{2m}}$$

定理2：學習邊界——有限$H$的一致情況

??讓$H$是一個有限假設集。對任意的$\delta >0$，有至少$1?\delta$的概率下述不等式成立：

$$?h\in H,R(h)\le R(h)+\sqrt{\frac{log|H|+log\frac{2}{\delta }}{2m}}$$

??證明：讓$h_1,....h_{|H|}$是$H$中的元素。對每一個假設使用聯合邊界和推論2得：

$$\begin{array}{rl}\mathrm{Pr}[?h\in H|R(h)?R(h)|>?]& =\mathrm{Pr}[(|R(h_1)?R(h_1)|>?)\vee ...\vee |R(h_{|H|})?R(h_{|H|})|>?]\\ & \le \sum _{h\in H}\mathrm{Pr}[|R(h)?R(h)|>?]\\ & \le 2|H|exp(?2m{?}^2)\end{array}$$

將上述不等式最右邊令成$\delta$，再反解$?$即可得到定理2的公式。

??因此，對于一個有限假設集$H$，

$$R(h)\le R(h)+O(\sqrt{\frac{{log}_2|H|}{m}})$$

??由上述公式可得：當樣本數量$m$越大的時，算法模型的泛化誤差就會越小，模型的泛化能力就會越強。注意，這個界限意味著在減少經驗誤差和控制假設集的大小之間尋求一種平衡：較大的假設集會受到不等式右邊第二項的懲罰，但可以幫助減少經驗誤差，即第一項。但對于相同的經驗錯誤，使用一個更小的假設集會更好一些。這可以引用奧卡姆剃刀原理來詮釋。奧卡姆是以神學家威廉·奧卡姆的名字命名的：如果沒有必要，就不應該假定多元性。也就是說，最簡單的解釋是最好的。在這種情況下，該公式可以表示為：在其他條件相同的情況下，更簡單(更小)的假設集泛化誤差更小，模型更好。

??關于PAC學習框架的內容暫且寫到這里，博主用$\text{LATE?X}$手敲數學公式不容易，希望大家留下贊再走，下一篇更新VC維和Rademarcher復雜度。

總結

以上是生活随笔為你收集整理的机器学习之PAC学习框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。