點擊上方“AI有道”，選擇“設(shè)為星標(biāo)”

關(guān)鍵時刻，第一時間送達！

紅色石頭每天碎碎念一些機器學(xué)習(xí)知識和概念，大家一起學(xué)習(xí)，每天進步一點點！喜歡的話別忘了文末點贊支持一下哦~

如果有一個裝有很多（數(shù)量很大數(shù)不過來）橙色球和綠色球的罐子，我們能不能推斷橙色球的比例 u？統(tǒng)計學(xué)上的做法是，從罐子中隨機取出 N 個球，作為樣本，計算這N 個球中橙色球的比例 v，那么就可以估計出罐子中橙色球的比例約為 v。

這種隨機抽取的做法能否說明罐子里橙色球的比例一定是 v 呢？答案是否定的。但是從概率的角度來說，樣本中的 v 很有可能接近我們未知的 u。當(dāng) N 足夠大的時候，v接近于 u。這就是霍夫丁不等式（Hoeffding’s inequality）：

其中，P 表示概率。霍夫丁不等式說明當(dāng) N 很大的時候，v 與 u 相差不會很大，它們之間的差值被限定在? 之內(nèi)。

重點，對應(yīng)到機器學(xué)習(xí)中，我們可以令訓(xùn)練誤差 Ein = v，泛化誤差 Eout = u。那么，當(dāng)訓(xùn)練樣本數(shù)目足夠多的時候，可以得到相應(yīng)的霍夫丁不等式：

上面的霍夫丁不等式說明了，選擇合適的足夠訓(xùn)練樣本，訓(xùn)練的模型一般能使 Ein 與 Eout 近似相等，即泛化能力較好（除非過擬合）?？偟膩砜?#xff0c;霍夫丁不等式是保證機器可以學(xué)習(xí)的一個條件！

- End -

總結(jié)

以上是生活随笔為你收集整理的机器学习碎碎念：霍夫丁不等式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。