學(xué)習(xí)筆記，僅供參考，有錯必糾

---

文章目錄

• • 結(jié)構(gòu)風(fēng)險最小(上)
  • • 經(jīng)驗(yàn)風(fēng)險最小和過擬合
    • 結(jié)構(gòu)風(fēng)險最小和正則化

---

結(jié)構(gòu)風(fēng)險最小(上)

經(jīng)驗(yàn)風(fēng)險沒有考慮模型學(xué)習(xí)能力和數(shù)據(jù)的匹配度。在討論泛化誤差時，若模型學(xué)習(xí)能力過強(qiáng)，則很容易造成過擬合。除了換一種學(xué)習(xí)能力弱的學(xué)習(xí)模型，另一種方法是添加正則化。在經(jīng)驗(yàn)風(fēng)險最小的同時，兼顧平衡模型的學(xué)習(xí)能力與數(shù)據(jù)的匹配，避免出現(xiàn)過擬合的新目標(biāo)，就是結(jié)構(gòu)風(fēng)險最小。

經(jīng)驗(yàn)風(fēng)險最小和過擬合

大家知道，經(jīng)驗(yàn)風(fēng)險就是對訓(xùn)練誤差的一個估算，但是訓(xùn)練的學(xué)習(xí)模型最后要用來做預(yù)測，所以更加關(guān)注測試誤差。一般把訓(xùn)練學(xué)習(xí)模型的過程稱為擬合，擬合過程中，根據(jù)經(jīng)驗(yàn)風(fēng)險來訓(xùn)練模型，但最終目標(biāo)是泛化誤差最小。在具體問題中，經(jīng)驗(yàn)風(fēng)險對應(yīng)訓(xùn)練誤差，而泛化誤差對應(yīng)測試誤差。通常在擬合完成之后會遇到下面兩種情況。

訓(xùn)練誤差大，且測試誤差大，那么可能是欠擬合。

一般學(xué)習(xí)模型不夠復(fù)雜。

VC定理就是用來度量學(xué)習(xí)模型的擬合能力的一種尺度。

訓(xùn)練誤差小，但測試誤差大，那么可能是發(fā)生了過擬合。

選用的學(xué)習(xí)模型過于復(fù)雜。

使用交叉

總結(jié)

以上是生活随笔為你收集整理的机器学习-算法背后的理论与优化(part4)--结构风险最小(上)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。