偏差與方差(bias and variance)

 

在回歸問題中,我們用一個簡單的線性模型來擬合樣本,稱為線性回歸,如圖1;或者用更復雜,高維的函數來擬合,比如二次函數得到圖2,六次函數得到圖3.

 

我們可以看出來, 六次函數完美地擬合了六個點,誤差為0.但是,當我們用這樣的擬合模型來進行預測的時候,效果反而不好.

通過觀察我們發現,二次的模型也許能夠更好地擬合這些樣本分布.

雖然1,3圖都不能很好地擬合真實分布,但是他們的問題是很不一樣的.

我們暫且稱圖1的問題為偏差(bias),圖3的問題為方差(variance).

 

一般誤差與經驗誤差

 

我們來定義如下幾個概念:

1.      一般誤差:

指的是,我們使用擬合的模型,在任意樣本下,得到的誤差.也就是模型的真實誤差,也稱一般誤差.

2.      經驗誤差:

指的是訓練樣本的誤差,也就是上圖中擬合函數對于這

總結

以上是生活随笔為你收集整理的经验风险与结构风险的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。