點(diǎn)擊上方“AI有道”，選擇“設(shè)為星標(biāo)”

關(guān)鍵時刻，第一時間送達(dá)！

紅色石頭每天碎碎念一些機(jī)器學(xué)習(xí)知識和概念，大家一起學(xué)習(xí)，每天進(jìn)步一點(diǎn)點(diǎn)！喜歡的話別忘了文末點(diǎn)贊支持一下哦~

如果有一個裝有很多（數(shù)量很大數(shù)不過來）橙色球和綠色球的罐子，我們能不能推斷橙色球的比例 u？統(tǒng)計(jì)學(xué)上的做法是，從罐子中隨機(jī)取出 N 個球，作為樣本，計(jì)算這N 個球中橙色球的比例 v，那么就可以估計(jì)出罐子中橙色球的比例約為 v。

這種隨機(jī)抽取的做法能否說明罐子里橙色球的比例一定是 v 呢？答案是否定的。但是從概率的角度來說，樣本中的 v 很有可能接近我們未知的 u。當(dāng) N 足夠大的時候，v接近于 u。這就是霍夫丁不等式（Hoeffding’s inequality）：

其中，P 表示概率?；舴蚨〔坏仁秸f明當(dāng) N 很大的時候，v 與 u 相差不會很大，它們之間的差值被限定在? 之內(nèi)。

重點(diǎn)，對應(yīng)到機(jī)器學(xué)習(xí)中，我們可以令訓(xùn)練誤差 Ein = v，泛化誤差 Eout = u。那么，當(dāng)訓(xùn)練樣本數(shù)目足夠多的時候，可以得到相應(yīng)的霍夫丁不等式：

上面的霍夫丁不等式說明了，選擇合適的足夠訓(xùn)練樣本，訓(xùn)練的模型一般能使 Ein 與 Eout 近似相等，即泛化能力較好（除非過擬合）。總的來看，霍夫丁不等式是保證機(jī)器可以學(xué)習(xí)的一個條件！

- End -

總結(jié)

以上是生活随笔為你收集整理的机器学习碎碎念：霍夫丁不等式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。