模型選擇

一個模型可能有很多種情況出現(xiàn)，那么我們?nèi)绾芜x擇最優(yōu)的模型呢？

1、哪條曲線擬合效果是最好的？

2、 泛化

機器學習的目標是使學得的模型能很好地適用于“新樣本”，而不是僅僅在訓練樣本上工作的很好；即便對聚類這樣的無監(jiān)督學習任務，我們也希望學得的簇劃分能適用于沒在訓練集中出現(xiàn)的樣本。學得模型適用于新樣本的能力，稱為“泛化”（generalization）能力。

具有強泛化能力的模型能很好地適用于整個樣本空間。（現(xiàn)實任務中的樣本空間的規(guī)模通常很大，如 20 個屬性，每個屬性有 10 個可能取值，則樣本空間的規(guī)模是 10^20 ）。

還有一個泛化的概念：

【基礎概念】模型具有好的泛化能力指的是：模型不但在訓練數(shù)據(jù)集上表現(xiàn)的效果很好，對于新數(shù)據(jù)的適應能力也有很好的效果。?
當我們討論一個機器學習模型學習能力和泛化能力的好壞時，我們通常使用過擬合和欠擬合的概念，過擬合和欠擬合也是機器學習算法表現(xiàn)差的兩大原因。?
【基礎概念】過擬合 overfitting：模型在訓練數(shù)據(jù)上表現(xiàn)良好，在未知數(shù)據(jù)或者測試集上表現(xiàn)差。?
【基礎概念】欠擬合 underfitting：在訓練數(shù)據(jù)和未知數(shù)據(jù)上表現(xiàn)都很差。

3、欠擬合

圖 1 和圖 2 都是模型欠擬合的情況：即模型在訓練集上表現(xiàn)的效果差，沒有充分利用數(shù)據(jù)，預測準確率很低，擬合結果嚴重不符合預期。

產(chǎn)生的原因：模型過于簡單出現(xiàn)的場景：欠擬合一般出現(xiàn)在機器學習模型剛剛訓練的時候，也就是說一開始我們的模型往往是欠擬合也正是因為如此才有了優(yōu)化的空間，我們通過不斷優(yōu)化調(diào)整算法來使得模型的表達能力更強。

解決辦法：?
（1）添加其他特征項：因為特征項不夠而導致欠擬合，可以添加其他特征項來很好的解決。?
（2）添加多項式特征，如圖（3）我們可以在線性模型中通過添加二次或三次項使得模型的泛化能力更強。?
（3）減少正則化參數(shù)，正則化的目的是用來防止過擬合的，但是現(xiàn)在模型出現(xiàn)了欠擬合，需要減少正則化參數(shù)。

4、過擬合

圖四是模型過擬合的情況：即模型在訓練集上表現(xiàn)的很好，但是在測試集上效果卻很差。也就是說，在已知的數(shù)據(jù)集合中非常好，再添加一些新數(shù)據(jù)進來效果就會差很多。

產(chǎn)生的原因：可能是模型太過于復雜、數(shù)據(jù)不純、訓練數(shù)據(jù)太少等造成。?
出現(xiàn)的場景：當模型優(yōu)化到一定程度，就會出現(xiàn)過擬合的情況。

解決辦法：?
（1）重新清洗數(shù)據(jù)：導致過擬合一個原因可能是數(shù)據(jù)不純導致的，?
（2）增大訓練的數(shù)據(jù)量：導致過擬合的另一個原因是訓練數(shù)據(jù)量太小，訓練數(shù)據(jù)占總數(shù)據(jù)比例太低。?
（3）采用正則化方法對參數(shù)施加懲罰：導致過擬合的原因可能是模型太過于復雜，我們可以對比較重要的特征增加其權重，而不重要的特征降低其權重的方法。常用的有 L1 正則和 L2 正則，稍后會提到。?
（4）采用 dropout 方法，即采用隨機采樣的方法訓練模型，常用于神經(jīng)網(wǎng)絡算法中。?
注意：模型的過擬合是無法徹底避免的，我們能做的只是緩解，或者說減小其風險，因為機器學習面臨的是 NP 難問題（這列問題不存在有效精確解，必須尋求這類問題的有效近似算法求解），但是有效算法必然是在多項式時間內(nèi)運行完成的，因此過擬合是不可避免的。

在實際的任務中往往通過多種算法的選擇，甚至對同一個算法，當使用不同參數(shù)配置時，也會產(chǎn)生不同的模型。那么，我們也就面臨究竟選擇哪一種算法，使用哪一種參數(shù)配置？這就是我們在機器學習中的“模型選擇（model select）”問題，理想的解決方案當然是對候選模型的泛化誤差進行評估，然后選擇泛化誤差最小的那個模型。

總結

以上是生活随笔為你收集整理的模型选择的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。