1、泛化能力

概念：在機器學習方法中，泛化能力通俗來講就是指學習到的模型對未知數(shù)據(jù)的預測能力。在實際情況中，我們通常通過測試誤差來評價學習方法的泛化能力。如果在不考慮數(shù)據(jù)量不足的情況下出現(xiàn)模型的泛化能力差，那么其原因基本為對損失函數(shù)的優(yōu)化沒有達到全局最優(yōu)。

舉個例子：

? 高中生每天各種做題，五年高考三年模擬一遍遍的刷，為的什么，當然是想高考能有個好成績。高考試題一般是新題，誰也沒做過，平時的刷題就是為了掌握試題的規(guī)律，能夠舉一反三、學以致用，這樣面對新題時也能從容應對。這種規(guī)律的掌握便是泛化能力，有的同學很聰明，考上名校，很大程度上是該同學的泛化能力好。

? 考試成績差的同學，有這三種可能：一、泛化能力弱，做了很多題，始終掌握不了規(guī)律，不管遇到老題新題都不會做；二、泛化能力弱，做了很多題，只會死記硬背，一到考試看到新題就蒙了；三、完全不做題，考試全靠瞎蒙。機器學習中，第一類情況稱作欠擬合，第二類情況稱作過擬合，第三類情況稱作不收斂。

機器學習的目標是對從真實概率分布（已隱藏）中抽取的新數(shù)據(jù)做出良好預測。遺憾的是，模型無法查看整體情況；模型只能從訓練數(shù)據(jù)集中取樣。如果某個模型在擬合當前樣本方面表現(xiàn)良好，那么你如何相信該模型也會對從未見過的樣本做出良好預測呢？

奧卡姆剃刀定律在機器學習方面的運用如下：

• 機器學習模型越簡單，良好的實證結(jié)果就越有可能不僅僅基于樣本的特性。

現(xiàn)今，我們已將奧卡姆剃刀定律正式應用于統(tǒng)計學習理論和計算學習理論領域。這些領域已經(jīng)形成了泛化邊界，即統(tǒng)計化描述模型根據(jù)以下因素泛化到新數(shù)據(jù)的能力：

• 模型的復雜程度
• 模型在處理訓練數(shù)據(jù)方面的表現(xiàn)

2、泛化誤差

根據(jù)PAC理論：

? 泛化誤差可以直觀理解為以e指數(shù)的形式正比于假設空間的復雜度，反比于數(shù)據(jù)量的個數(shù)。就是數(shù)據(jù)量越多，模型效果越好，模型假設空間復雜度越簡單，模型效果越好。

3、提高泛化能力

提高泛化能力的方式大致有三種：1.增加數(shù)據(jù)量。2.正則化。3.凸優(yōu)化。

總得來說：

泛化能力可以認為就是舉一反三的能力。

總結(jié)

以上是生活随笔為你收集整理的泛化能力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。