過擬合(高方差)

當我們的數(shù)據(jù)無法滿足我們模型的復(fù)雜度時會過擬合，也就是我們的變量過多,模型很復(fù)雜，導(dǎo)致在我們的訓(xùn)練集中我們的將我們的訓(xùn)練樣本擬合的非常好，但是在測試樣本中測試的準確率比較低，模型的泛化能力差，就會出現(xiàn)過擬合的問題。

通俗一點地來說過擬合就是模型把數(shù)據(jù)學(xué)習(xí)的太徹底，以至于把噪聲數(shù)據(jù)的特征也學(xué)習(xí)到了，這樣就會導(dǎo)致在后期測試的時候不能夠很好地識別數(shù)據(jù)，即不能正確的分類，模型泛化能力太差

解決方法：正則化，增加訓(xùn)練樣本，清洗數(shù)據(jù)(數(shù)據(jù)可能不純)

欠擬合(高偏差)

欠擬合就是模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地擬合數(shù)據(jù)

解決方法：添加其他特征項(可能因為特種項不足)，添加多項式特征(例如將線性模型通過添加二次項或者三次項使模型泛化能力更強),減少正則化參數(shù)

欠擬合-過擬合與偏差-方差關(guān)系

名稱 欠擬合 過擬合 備注偏差 一定大 較大 主要針對驗證機 方差 一定小 一定大 主要針對驗證機

方差(Variance)：

描述的是預(yù)測值的變化范圍，離散程度，也就是離其期望值的距離。方差越大，數(shù)據(jù)的分布越分散，如下圖右列所示。

偏差(Bias):

描述的是預(yù)測值（估計值）的期望與真實值之間的差距。偏差越大，越偏離真實數(shù)據(jù)，如下圖第二行所示。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的机器学习概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。