當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

PAC learning

發(fā)布時(shí)間：2024/3/12 编程问答 45 豆豆

生活随笔收集整理的這篇文章主要介紹了 PAC learning 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

文章目錄

區(qū)間學(xué)習(xí)(Learning Intervals)
分布和假設(shè)(Distributions and Hypothese)
概念集(Concept Class)
PAC學(xué)習(xí)(probably Approximately Correct Learning)
番外:對(duì)區(qū)間學(xué)習(xí)是PAC可學(xué)習(xí)性的證明

本文是對(duì)Leslie Valiant博文PAC的翻譯，對(duì)原文內(nèi)容有所取舍

區(qū)間學(xué)習(xí)(Learning Intervals)

從一個(gè)游戲開始：
玩家1：心里想一個(gè)范圍[a,b]，每次想一個(gè)數(shù)字并告訴玩家2這個(gè)數(shù)字在不在范圍[a,b]中
玩家2：從玩家1處得到信息后猜測(cè)這個(gè)范圍[a,b],隨著玩家1每次給出新的數(shù)字,玩家2會(huì)更新自己的預(yù)測(cè)
顯而易見，玩家2是不可能完全猜對(duì)的，但他可以盡可能接近準(zhǔn)確答案。
假設(shè)玩家2在若干次更新后給出了自己的最終預(yù)測(cè)，玩家1開始源源不斷地給出數(shù)字，如果大多數(shù)情況下這些數(shù)字都落在玩家2所給的答案范圍里，我們就認(rèn)為玩家2贏得了游戲，并稱這個(gè)問(wèn)題是PAC可學(xué)習(xí)(PAC-learnable)的。
你可能會(huì)想，我把范圍保持為和玩家1給出的在范圍內(nèi)數(shù)字的最大最小值一致不久可以了嗎？我們之后會(huì)證明這種方法確實(shí)可以贏得游戲。

分布和假設(shè)(Distributions and Hypothese)

把剛才猜數(shù)字的游戲放到一邊，玩家1不再需要每次給出數(shù)字了，他仍然需要想一個(gè)范圍 $X$ ，確切地說(shuō)，一個(gè)集合 $X$ ,可以有限，可以無(wú)限，隨心所欲。接下來(lái)，他需要在這個(gè)集合范圍內(nèi)想一種取出其中元素的規(guī)則，或者說(shuō)，一個(gè)分布 $D$ 。他的任務(wù)就是根據(jù) $D$ 從 $X$ 中不斷給出元素，注意，這些元素一定是獨(dú)立給出的，也即這些元素獨(dú)立同分布(independently and identically distributed),而玩家2則需要盡可能猜出這個(gè)分布。
如果一個(gè)算法 $A$ 對(duì)于 $X$ 上的所有分布 $D$ 都能以大概率在有限步內(nèi)贏得游戲，我們就說(shuō)這個(gè)問(wèn)題是PAC可學(xué)習(xí)的。
問(wèn)題來(lái)了？什么叫贏得游戲呢？或許說(shuō)是犯錯(cuò)的概率很小比較好。
玩家1列舉的集合中元素是有對(duì)應(yīng)取值的，而這個(gè)取值根據(jù)特定函數(shù) $c$ 給出，我們把這個(gè)函數(shù)叫做概念(concept)或者目標(biāo)，玩家2最終的目標(biāo)，就是猜出這個(gè)概念。假設(shè)通過(guò)一些步驟，玩家2給出了他對(duì)概念的假設(shè) $h$ ,而正確的概念是 $c$ ,如果 $h (x)$ 和 $c (x)$ 不相等，自然就是 $h$ 對(duì)于元素 $x$ 判斷出錯(cuò)了，也就產(chǎn)生了誤差(error):
$errorc,Dh=PD(h(x)≠c(x))error_{c,D}h = P_D(h(x) \ne c(x))$
于是我們說(shuō)：
如果一個(gè)算法 $A$ 對(duì)于 $X$ 上的所有分布 $D$ 和所有概念 $c$ ,都能以在有限步內(nèi)給出一個(gè)假設(shè)，并且大概率該假設(shè)誤差很小，我們就說(shuō)這個(gè)問(wèn)題是PAC可學(xué)習(xí)的。

概念集(Concept Class)

概念集 $C$ 是一系列 $\rightarrow \{0,1\}$ 函數(shù)的集合,over

這么說(shuō)似乎太簡(jiǎn)略了，并且這個(gè) $C$ 似乎太龐大了，因此，我們假設(shè)我們會(huì)知道關(guān)于 $C$ 的一些知識(shí)，于是我們說(shuō):
如果一個(gè)算法 $A$ 對(duì)于 $X$ 上的所有分布 $D$ 和所有概念 $\in C$ ,都能以在有限步內(nèi)給出一個(gè)假設(shè)，并且大概率該假設(shè)誤差很小，我們就說(shuō) $C$ 是PAC可學(xué)習(xí)的。

PAC學(xué)習(xí)(probably Approximately Correct Learning)

把游戲拋到一邊吧，來(lái)嚴(yán)肅地聊點(diǎn)東西。

我們所真正關(guān)心的其實(shí)是是否存在一個(gè)算法可以對(duì)于任意數(shù)據(jù)都給出一個(gè)好的假設(shè)。我們也可以想見，對(duì)數(shù)據(jù)的認(rèn)知越多，我們給的假設(shè)一定就會(huì)越好，但對(duì)數(shù)據(jù)認(rèn)知越多，我們所需的時(shí)間也就越多，因此我們需要在誤差和學(xué)習(xí)數(shù)據(jù)數(shù)量上做一個(gè)平衡。

我們現(xiàn)在可以對(duì)前文所說(shuō)的很小，大概率下定義了。

誤差很小：我們定義參數(shù) $\epsilon <1/2$ 表示誤差，我們期望大概率 $errorc,D(h)≤?error_{c,D}(h) \le \epsilon$ ，對(duì)誤差有一定要求，我們自然也會(huì)允許學(xué)習(xí)數(shù)據(jù)數(shù)量多一點(diǎn)點(diǎn)，我們希望算法運(yùn)行時(shí)間是關(guān)于 $1?\frac{1}{\epsilon}$ 的多項(xiàng)式函數(shù)

大概率:我們定義參數(shù) $\delta < 1/2$ 表示我們運(yùn)行算法誤差較大的概率，也就是說(shuō)，有 $1?δ1-\delta$ 的概率算法誤差都小于 $?\epsilon$ ,即我們希望:
$PD(errc,D(h)<?)>1?δP_D(err_{c,D}(h) < \epsilon) > 1 - \delta$

我們對(duì)算法運(yùn)行時(shí)間也會(huì)再放寬一點(diǎn)，我們希望算法運(yùn)行時(shí)間是關(guān)于 $1?\frac{1}{\epsilon}$ 和 $1δ\frac{1}{\delta}$ 的多項(xiàng)式函數(shù)

我們終于可以給PAC可學(xué)習(xí)下一個(gè)精準(zhǔn)的定義了:
定義: $X$ 是一個(gè)集合, $C$ 是 $X$ 上的概念集,如果有運(yùn)行時(shí)間為 $O(poly(1?,1δ))O(poly(\frac{1}{\epsilon},\frac{1}{\delta}))$ 的算法 $A(?,δ)A(\epsilon,\delta)$ ，有一個(gè)先知會(huì)告訴它數(shù)據(jù)對(duì)應(yīng)的取值(即不考慮此處時(shí)間復(fù)雜度)，對(duì)于任意 $\in C$ , $X$ 上的分布 $D$ ,以及 $\epsilon <1/2,0 < \delta < 1/2$ ,都有:
$PD(errc,D(h)≤?)≥1?δP_D(err_{c,D}(h) \le \epsilon) \ge1 - \delta$
那么 $C$ 是PAC可學(xué)習(xí)的
完美！

番外:對(duì)區(qū)間學(xué)習(xí)是PAC可學(xué)習(xí)性的證明

在經(jīng)過(guò)一番努力后，玩家2給出了自己預(yù)測(cè)的區(qū)間 $I$ ，而正確區(qū)間是 $J$ ，根據(jù)區(qū)間預(yù)測(cè)的方法我們自然有 $\subset J$ ,并且有:
$errorJ,D≤Px～D(x∈A)+Px～D(x∈B)error_{J,D} \le P_{x \sim D}(x \in A) + P_{x \sim D}(x \in B)$ ,如圖所示

我們的目標(biāo)是 $errorJ,D≤?error_{J,D} \le \epsilon$ ,如果 $A, B$ 區(qū)間占區(qū)間總長(zhǎng)度(出錯(cuò)概率)均不超過(guò) $?/2\epsilon/2$ ，那么誤差就自然有保證了，事情并不往往遂人愿，我們假設(shè) $A^{'}$ 占區(qū)間總長(zhǎng)度 $?/2\epsilon/2$ ,如下圖所示:

某一個(gè)數(shù)據(jù)不在 $A^{'}$ 范圍內(nèi)概率為 $1??/21-\epsilon/2$ ,如果我們查詢了 $m$ 個(gè)數(shù)據(jù)，這 $m$ 個(gè)數(shù)據(jù)均不在 $A^{'}$ 內(nèi)概率為
$PD(A′?A)≤(1??/2)mP_D(A' \subset A ) \le (1-\epsilon/2)^m$ ,
$m$ 個(gè)數(shù)據(jù)均不在 $A^{'}$ 或?qū)?yīng)右端的 $B^{'}$ 端的概率為
$PD(errorJ,D>?)≤2?(1??/2)mP_D(error_{J,D} \gt \epsilon) \le 2*(1-\epsilon/2)^m$
為了達(dá)到我們的目標(biāo)，我們需要滿足
$2?(1??/2)m<δ2*(1-\epsilon/2)^m \lt \delta$
根據(jù) $\le e^{-x}$ ，我們需要求解
$2e??m/2≤δ2e^{-\epsilon m/2 } \le \delta$
得到 $\ge (2/\epsilon log(2/\delta))$
也就是只要我們得到 $(2/?log(2/δ))(2/\epsilon log(2/\delta))$ 以上，就可以滿足對(duì)錯(cuò)誤率和出錯(cuò)概率的要求，換言之，這個(gè)問(wèn)題是PAC可學(xué)習(xí)的

總結(jié)

以上是生活随笔為你收集整理的PAC learning的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

pac
learning