機(jī)器學(xué)習(xí)基礎(chǔ)(林軒田)筆記之七 The VC Dimension

復(fù)習(xí)

在上一節(jié)課程中我們介紹了：

1.確保舉一反三(訓(xùn)練時(shí)和測(cè)試時(shí)的表現(xiàn)類(lèi)似，即)的條件；

2.成長(zhǎng)函數(shù)的上限函數(shù)；

3.VC Bound，若果在假設(shè)集中有任何一個(gè)假設(shè)發(fā)生壞事情，這件事的幾率，

4.舉一反三，機(jī)器學(xué)習(xí)可行的條件。

Definition of VC Dimension

VC維度是給最大的非斷點(diǎn)的定義，即k-1。

下面回顧之前的例子，
VC維存在的意義：

VC Dimension of Perceptrons

在有了VC維的概念之后，我們回到之前介紹的第一個(gè)機(jī)器學(xué)習(xí)算法，感知器學(xué)習(xí)算法(PLA)。

現(xiàn)在我們要解決的問(wèn)題是這個(gè)演算法可不可以用在多維度的數(shù)據(jù)上。

查看之前的例子，得出猜想，

證明思路，

證明

在二維上(0,0),(1,0),(0,1)會(huì)被shatter。

證明，先以2維為例

現(xiàn)行依賴(lài)會(huì)限制分類(lèi)的方式dichotomy。

推廣，

Physical Intuition of VC Dimension

VC維的物理意義是假設(shè)集做二元分類(lèi)時(shí)到底有多少自由度，即假設(shè)集能產(chǎn)生多少dichotomy。

看看之前的例子，

從例子大概得出，VC維大致上表示有多少可以調(diào)的旋鈕，即有多少參數(shù)(不總是對(duì)的)。

VC維是我們用來(lái)衡量假設(shè)集的自由度的量，在第五講中我們用M來(lái)衡量假設(shè)集的物理量。

Interpreting VC Dimension

現(xiàn)在我們來(lái)更進(jìn)一步的理解VC維。

VC Bound:

那么有比大的幾率會(huì)發(fā)生好事情

進(jìn)一步：

從而知道VC維告訴我們：

VC Boung的另外一個(gè)意思：樣本復(fù)雜度：

理論上N一般為10000倍的VC維，實(shí)際上10倍的VC維即可。

總結(jié)

以上是生活随笔為你收集整理的机器学习基础(林軒田)笔记之七的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。