文章目錄

• 1. 模型驗(yàn)證
• • 1.1 錯(cuò)誤的模型驗(yàn)證方法
  • 1.2 正確的模型驗(yàn)證方法
  • • 1.2.1 留出集
    • 1.2.2 交叉驗(yàn)證
    • 1.2.3 K折交叉驗(yàn)證
    • 1.2.4 留一法 LOO
• 2. 偏差-方差
• • 2.1 泛化誤差、偏差及方差
  • 2.2 泛化誤差與偏差及方差的關(guān)系
• 3. 擬合程度
• • 3.1 欠擬合與過擬合
  • 3.2 影響擬合程度的因素
  • 3.3 模型復(fù)雜度
  • • 2.3.1 模型復(fù)雜度圖表
    • 3.3.2 驗(yàn)證曲線
    • • 3.3.2.1 Sklearn 驗(yàn)證曲線
  • 3.4 訓(xùn)練集規(guī)模
  • • 3.4.1 學(xué)習(xí)曲線
    • • 3.4.1.1 學(xué)習(xí)曲線與擬合程度
      • 3.4.1.2 Sklean 學(xué)習(xí)曲線
• 參考資料

相關(guān)文章：

機(jī)器學(xué)習(xí) | 目錄

1. 模型驗(yàn)證

模型驗(yàn)證：（Model Validation）就是在選擇模型和超參數(shù)之后，通過對訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，對比已知數(shù)據(jù)的預(yù)測值與實(shí)際值的差異。^[1]

我們將首先通過一個(gè)簡單方法實(shí)現(xiàn)模型驗(yàn)證，并告訴你為什么那樣做行不通。之后，介紹如何用留出集（Holdout Set）與交叉驗(yàn)證（Cross-Validation）實(shí)現(xiàn)更可靠的模型驗(yàn)證。

1.1 錯(cuò)誤的模型驗(yàn)證方法

我們將使用鳶尾花數(shù)據(jù)來演示一個(gè)簡單的模型驗(yàn)證方法。

首先加載數(shù)據(jù)：

from sklearn.datasets import load_irisiris = load_iris() X = iris.data y = iris.target

然后選擇模型和超參數(shù)。這里使用一個(gè)$k$近鄰分類器，超參數(shù)為 n_neighbors=1。這是一個(gè)非常簡單直觀的模型，新數(shù)據(jù)的標(biāo)簽與其最接近的訓(xùn)練數(shù)據(jù)的標(biāo)簽相同：

from sklearn.neighbors import KNeighborsClassifier model = KNeighborsClassifier(n_neighbors=1)

然后訓(xùn)練模型，并由他來預(yù)測已知標(biāo)簽的數(shù)據(jù)：

model.fit(X,y) y_model = model.predict(X)

最后，計(jì)算模型的準(zhǔn)確率：

from sklearn.metrics import accuracy_score accuracy_score(y, y_model) 1.0

準(zhǔn)確得分是1.0，也就是模型識(shí)別標(biāo)簽的正確率是 100% ！但是這樣測量的準(zhǔn)確率可靠嗎？我們真的有一個(gè)在任何時(shí)候準(zhǔn)確率都是 100% 的模型嗎？

你可能已經(jīng)猜到了，答案是否定的。其實(shí)這個(gè)方法又個(gè)根本缺陷：它用同一套數(shù)據(jù)訓(xùn)練和評估模型。另外，最近鄰模型是一種與距離相關(guān)的評估器，只會(huì)簡單地存儲(chǔ)訓(xùn)練數(shù)據(jù)，然后把新數(shù)據(jù)與儲(chǔ)存的已知數(shù)據(jù)進(jìn)行對比來預(yù)測標(biāo)簽。在理想情況下，模型的準(zhǔn)確率總是 100% 。

1.2 正確的模型驗(yàn)證方法

1.2.1 留出集

那么怎么樣才能驗(yàn)證模型呢？其實(shí)留出集（Holdout Set）可以更好地評估模型性能，也就是說，將數(shù)據(jù)分為兩部分，一部分用來訓(xùn)練模型，另一部分用來驗(yàn)證模型性能。在Sklearn里用train_test_split（Sklearn官方文檔）工具就可以實(shí)現(xiàn)：

from sklearn.datasets import load_irisiris = load_iris() train_data = iris.data test_data = iris.target# 一半數(shù)據(jù)做為訓(xùn)練集，一半數(shù)據(jù)作為測試集（默認(rèn)test_size = 0.75） from sklearn.model_selection import train_test_splitX1, X2, y1, y2 = train_test_split(X, y, random_state=0, train_size=0.5)# 用模型擬合訓(xùn)練數(shù)據(jù) model.fit(X1, y1)# 利用訓(xùn)練好的模型進(jìn)行預(yù)測 y2_model = model.predict(X2)# 在測試集中評估模型準(zhǔn)確率 from sklearn.metrics import accuracy_scoreaccuracy_score(y2, y2_model) 0.9066666666666666

這樣就可以獲得更合理的結(jié)果了：最近鄰分類器在這份留出集上的準(zhǔn)確率是 90.67%。 這里的留出集類似于新數(shù)據(jù)，因?yàn)槟Ｐ椭皼]有“接觸”過它們。

1.2.2 交叉驗(yàn)證

用留出集進(jìn)行模型驗(yàn)證有一個(gè)缺點(diǎn)，就是模型失去了一部分訓(xùn)練機(jī)會(huì)，在上面的模型里，有一半的數(shù)據(jù)沒有為模型訓(xùn)練作出貢獻(xiàn)。這顯然不是最優(yōu)解，而且可能還會(huì)出現(xiàn)問題——尤其是在數(shù)據(jù)集規(guī)模比較小的時(shí)候。

解決這個(gè)問題的方法是交叉驗(yàn)證（Cross Validation），也就是做一組擬合，讓數(shù)據(jù)的每個(gè)子集即是訓(xùn)練集，又是驗(yàn)證集。如下圖所示，對數(shù)據(jù)進(jìn)行兩輪交叉驗(yàn)證：

這里進(jìn)行了兩輪驗(yàn)證實(shí)驗(yàn)，輪流用一組數(shù)據(jù)作為留出集。所以我們可以對1.2.1的例子實(shí)現(xiàn)交叉驗(yàn)證：

y2_model = model.fit(X1, y1).predict(X2) y1_model = model.fit(X2, y2).predict(X1) accuracy_score(y1, y1_model), accuracy_score(y2, y2_model) (0.96, 0.9066666666666666)

這樣就得到了兩個(gè)準(zhǔn)確率，將二者結(jié)合（例如求均值）獲得一個(gè)更為準(zhǔn)確的模型總性能，這種形式的交叉驗(yàn)證被稱為兩輪交叉驗(yàn)證——將數(shù)據(jù)集分為兩個(gè)子集，依次將每個(gè)子集作為驗(yàn)證集。

因此，也可以利用Sklearn的交叉驗(yàn)證函數(shù)cross_val_score（Sklearn官方文檔）實(shí)現(xiàn)兩輪交叉驗(yàn)證

from sklearn.model_selection import cross_val_scorecross_val_score(model, X, y, cv=2) array([0.94666667, 0.94666667])

交叉驗(yàn)證不是一種構(gòu)建可以應(yīng)用于新數(shù)據(jù)的模型的方法：交叉驗(yàn)證不會(huì)返回一個(gè)模型。在調(diào)用cross_val_score時(shí)，內(nèi)部會(huì)構(gòu)建多個(gè)模型，但交叉驗(yàn)證的目的只是評估給定算法在特定數(shù)據(jù)集上訓(xùn)練后的泛化性能的好壞。（若采用交叉驗(yàn)證來評價(jià)模型，則可以利用所有樣本來訓(xùn)練模型，而無需單獨(dú)留出驗(yàn)證集）

1.2.3 K折交叉驗(yàn)證

K折交叉驗(yàn)證（KFold Cross Validation）及在交叉驗(yàn)證的基礎(chǔ)上，將數(shù)據(jù)劃分為$k$組（cv=k），其中$k?1$組進(jìn)行訓(xùn)練，剩下1組作為驗(yàn)證集，重復(fù)進(jìn)行$k$次，如下圖所示：

我們可以將1.2.2的數(shù)據(jù)分為5組，進(jìn)行5輪交叉檢驗(yàn)：

from sklearn.model_selection import cross_val_scorecross_val_score(model, X, y, cv=5) array([0.96666667, 0.96666667, 0.93333333, 0.93333333, 1. ])

1.2.4 留一法 LOO

當(dāng)我們交叉驗(yàn)證的輪數(shù)與樣本數(shù)相同時(shí)，即每次只有一個(gè)樣本做測試，其他樣本全用于訓(xùn)練，這種交叉驗(yàn)證類型被稱為留一法（LOO, Leave One Out），如下所示：

from sklearn.model_selection import LeaveOneOut scores = cross_val_score(model, X, y, cv=LeaveOneOut()) print(scores) scores.mean() [1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 1.0. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0.1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.1. 1. 1. 1. 1. 1.]0.96

2. 偏差-方差

2.1 泛化誤差、偏差及方差

泛化誤差的含義，其實(shí)就是想看看訓(xùn)練后的模型是否具有代表性。我們使用偏差（bias）和方差（variance）來描述。

偏差是什么？給定了一些新的樣本，我們使用訓(xùn)練好的模型對這個(gè)新樣本進(jìn)行估值，這個(gè)估值與真實(shí)值的差距就是偏差。

方差是什么？在不同的訓(xùn)練集上，即使是同一模型我們可能也會(huì)得到不同的參數(shù)，那么不同訓(xùn)練集上得到的假設(shè)函數(shù)對新樣本的所做出的估值就是不同的。我們用這些不同估值的期望作為最終這個(gè)模型對新樣本的估值，而方差就是估值與不同訓(xùn)練集得到的估值之間的離散程度。

這和我們統(tǒng)計(jì)上的期望與方差是類似的，可以對比來看。我們希望最終的估值與實(shí)際值相差不大，而且得到的模型也要相對穩(wěn)定，這是就可以說該模型的通用型比較強(qiáng)，也就是泛化。^[2]

2.2 泛化誤差與偏差及方差的關(guān)系

我們剛才說偏差和方差可以衡量一個(gè)模型是否具有代表性，那么當(dāng)我們在驗(yàn)證集上得到了泛化誤差后怎么評價(jià)這個(gè)模型呢？我們來看一下泛化誤差的構(gòu)成：

$$泛化誤差=偏{差}^2+方差+噪{聲}^2$$

為了推導(dǎo)出這個(gè)公式，首先定義幾個(gè)概念：

在訓(xùn)練集$d$上，我們訓(xùn)練后的模型為$f_d(x)$

該模型對數(shù)據(jù)$x$的預(yù)測輸出：$\overline{f(x)}=E_d[f_d(x)]$

驗(yàn)證集樣本的真實(shí)值：$y$，標(biāo)簽值：$y_d$

噪聲為樣本的標(biāo)簽值與真實(shí)值的出入：$\epsilon =y?y_d$，服從均值為0的高斯分布 $\epsilon ～N(0,{\sigma }^2)$

偏差為預(yù)測輸出與樣本標(biāo)簽的差值：$bias=y?\overline{f(x)}$

方差為預(yù)測輸出與不同測試集差的離散程度：$var=E_d[(f_d(x)?\overline{f(x)}{)}^2]$

泛化誤差：$E_d[(y_d?f_d(x){)}^2]$

泛化誤差即每一組訓(xùn)練集得到結(jié)果后與驗(yàn)證集計(jì)算誤差，誤差的均值就作為衡量泛化的標(biāo)準(zhǔn)。

$$\begin{array}{rl}{E}_d[(y_d?f_d(x){)}^2]& =E_d[(y_d?\overline{f(x)}+\overline{f(x)}?f_d(x){)}^2]\\ & =E_d[(y_d?\overline{f(x)}{)}^2]+E_d[(\overline{f(x)}?f_d(x){)}^2]+2?E[(y_d?\overline{f(x)})(\overline{f(x)}?f_d(x))]\\ & =E_d[(y_d?\overline{f(x)}{)}^2]+E_d[(\overline{f(x)}?f_d(x){)}^2]+2?0?E[(y_d?\overline{f(x)})]\\ & =E_d[(y_d?\overline{f(x)}{)}^2]+E_d[(\overline{f(x)}?f_d(x){)}^2]\\ & =E_d[(y_d?y+y?\overline{f(x)}{)}^2]+E_d[(f(x)?\overline{f_d(x)}{)}^2]\\ & =E_d[(y_d?y{)}^2]+E_d[(y?\overline{f(x)}{)}^2]+2?0?E_d[y?\overline{f(x)}]+E_d[(f(x)?\overline{f_d(x)}{)}^2]\\ & =E_d[(y_d?y{)}^2]+E_d[(y?\overline{f(x)}{)}^2]+E_d[(f(x)?\overline{f_d(x)}{)}^2]\\ & ={\epsilon }^2+bia{s}^2+var\end{array}$$

由推導(dǎo)可知，對于每一次交叉驗(yàn)證我們可以得到一組誤差$(y_d?f_d(x){)}^2$，當(dāng)我們把所有誤差求均值后得到泛化誤差，泛化誤差又可以分解為偏差、方差以及噪聲：

$$E_d[(y_d?f_d(x){)}^2]=bia{s}^2+var+{\epsilon }^2\text{\hspace{1em}(1)}$$

3. 擬合程度

3.1 欠擬合與過擬合

欠擬合\高偏差：（Underfitting\High Bias）指過度簡化了模型，而無法捕捉到數(shù)據(jù)的復(fù)雜度。表現(xiàn)為在訓(xùn)練集和測試集上正確率都很低。

過擬合\高方差：（Overfitting\High Variance）指過度復(fù)雜化了模型，因此這種學(xué)習(xí)器偏向于記住數(shù)據(jù)，而不是學(xué)習(xí)數(shù)據(jù)，這樣就會(huì)導(dǎo)致泛化性能下降。表現(xiàn)為在訓(xùn)練集上表現(xiàn)很好（甚至在訓(xùn)練集上準(zhǔn)確率到達(dá)100%），而在測試集上正確率卻很低。

舉個(gè)例子，對以下數(shù)據(jù)，分別使用一次線性模型，二次方程模型和六次多項(xiàng)式模型進(jìn)行擬合，可以看到：

對于一次模型，它對與數(shù)據(jù)的擬合程度并不好，因此在測試集上表現(xiàn)不好；

對于六次模型，它記住了數(shù)據(jù)，但未能找到訓(xùn)練集的良好屬性，以很好的泛化到測試劑，所以即使在訓(xùn)練集上表現(xiàn)很好，在測試集上也會(huì)表現(xiàn)很差；

而對于二次模型，它很好的學(xué)習(xí)到了訓(xùn)練集的特點(diǎn)，因此在訓(xùn)練集和測試集上表現(xiàn)都會(huì)不錯(cuò)。

3.2 影響擬合程度的因素

影響擬合程度的因素有很多，如模型的復(fù)雜程度和訓(xùn)練集規(guī)模。

對于一定數(shù)量的訓(xùn)練樣本，簡單的模型容易造成欠擬合，而太過復(fù)雜的模型容易造成過擬合；

對于一定復(fù)雜度的模型，過少的訓(xùn)練樣本容易導(dǎo)致模型過擬合，過多的訓(xùn)練樣本容易導(dǎo)致過擬合。

3.3 模型復(fù)雜度

模型復(fù)雜度與擬合程度的關(guān)系：^[3]

我們可以利用公式(1)對不同模型復(fù)雜度下的泛化誤差進(jìn)行拆解，可以得到下面的圖像，左側(cè)代表了欠擬合，右側(cè)代表了過擬合，可以看到左側(cè)呈現(xiàn)出了高偏差的特點(diǎn)，而右側(cè)呈現(xiàn)出了高方差的特點(diǎn)。

2.3.1 模型復(fù)雜度圖表

x 軸：模型復(fù)雜度

y 軸：預(yù)測誤差

圖的左側(cè)為一個(gè)欠擬合（高偏差）模型，右側(cè)為一個(gè)過擬合（高誤差）模型，

舉個(gè)例子：對以下數(shù)據(jù)，分別使用一次線性模型，二次方程模型和六次多項(xiàng)式模型進(jìn)行分類，我們將數(shù)據(jù)分為訓(xùn)練集和測試集，利用訓(xùn)練集進(jìn)行訓(xùn)練，之后利用訓(xùn)練集和測試集進(jìn)行預(yù)測并計(jì)算誤差。我們將誤差畫在下面的表上，就得到了模型復(fù)雜度圖表。

左側(cè)是一個(gè)欠擬合模型，它具有較高的訓(xùn)練誤差和測試誤差；

右側(cè)是一個(gè)過擬合模型，它具有較低的訓(xùn)練誤差和較高的測試誤差；

中間的一個(gè)較好的模型，它具有相對較低的訓(xùn)練和測試誤差。

3.3.2 驗(yàn)證曲線

對之前的回歸模型，我們利用回歸指標(biāo)$R^2$（機(jī)器學(xué)習(xí) | 分類評估指標(biāo)）分別計(jì)算不同復(fù)雜度下的訓(xùn)練得分和驗(yàn)證得分：

將模型復(fù)雜度圖標(biāo)的 y 軸指標(biāo)由誤差改為模型得分，就得到了驗(yàn)證曲線。相同的，在驗(yàn)證曲線的左側(cè)為欠擬合，在驗(yàn)證曲線的右側(cè)為過擬合。

3.3.2.1 Sklearn 驗(yàn)證曲線

用交叉驗(yàn)證計(jì)算一個(gè)多項(xiàng)式回歸模型，其多項(xiàng)式的次數(shù)是一個(gè)可調(diào)參數(shù)。在 Sklern 中，可以用一個(gè)帶多項(xiàng)式的預(yù)處理器的簡單線性回歸模型實(shí)現(xiàn)。我們將用一個(gè)管道命令來組合這兩種操作：

from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.pipeline import make_pipelinedef PolynomialRegression(degree=2, **kwargs):return make_pipeline(PolynomialFeatures(degree),LinearRegression(**kwargs))

現(xiàn)在來創(chuàng)造一些數(shù)據(jù)給模型擬合：

import numpy as npdef make_data(N, err=1.0, rseed=1):# randomly sample the datarng = np.random.RandomState(rseed)X = rng.rand(N, 1) ** 2y = 10 - 1. / (X.ravel() + 0.1)if err > 0:y += err * rng.randn(N)return X, yX, y = make_data(40)

通過數(shù)據(jù)可視化，將不同次數(shù)的多項(xiàng)式擬合曲線畫出來：

%matplotlib inline import matplotlib.pyplot as plt import seaborn; seaborn.set() # plot formattingX_test = np.linspace(-0.1, 1.1, 500)[:, None]plt.scatter(X.ravel(), y, color='black') axis = plt.axis() for degree in [1, 3, 5]:y_test = PolynomialRegression(degree).fit(X, y).predict(X_test)plt.plot(X_test.ravel(), y_test, label='degree={0}'.format(degree)) plt.xlim(-0.1, 1.0) plt.ylim(-2, 12) plt.legend(loc='best');

通過validation_curve函數(shù)（Sklearn 官方文檔）畫驗(yàn)證曲線，只需要提供模型、數(shù)據(jù)、參數(shù)名稱和驗(yàn)證范圍學(xué)習(xí)，函數(shù)就會(huì)自動(dòng)計(jì)算驗(yàn)證范圍內(nèi)的訓(xùn)練得分和驗(yàn)證的分：

from sklearn.model_selection import validation_curve degree = np.arange(0, 21) train_score, val_score = validation_curve(PolynomialRegression(), X, y,'polynomialfeatures__degree', degree, cv=7)plt.plot(degree, np.median(train_score, 1), color='blue', label='training score') plt.plot(degree, np.median(val_score, 1), color='red', label='validation score') plt.legend(loc='best') plt.ylim(0, 1) plt.xlabel('degree') plt.ylabel('score');

從驗(yàn)證曲線中可以看出，偏差與方差的均衡性最好的是三次多項(xiàng)式。我們可以計(jì)算結(jié)果，并將模型畫在原始數(shù)據(jù)上：

plt.scatter(X.ravel(), y) lim = plt.axis() y_test = PolynomialRegression(3).fit(X, y).predict(X_test) plt.plot(X_test.ravel(), y_test); plt.axis(lim);

雖然尋找最優(yōu)模型并不需要我們計(jì)算訓(xùn)練得分，但是檢查訓(xùn)練得分與驗(yàn)證得分之間的關(guān)系可以讓我們對模型的性能有更加直觀的認(rèn)識(shí)。

3.4 訓(xùn)練集規(guī)模

影響模型復(fù)雜度的一個(gè)重要因素就是最優(yōu)模型往往收到訓(xùn)練數(shù)據(jù)量的影響。例如對于3.3.2.1的例子，我們增加5倍數(shù)據(jù)量。與之前相同，畫出200個(gè)樣本點(diǎn)的驗(yàn)證曲線并疊加到40個(gè)樣本點(diǎn)的驗(yàn)證曲線上，其中虛線為40個(gè)樣本點(diǎn)的驗(yàn)證曲線，實(shí)現(xiàn)為200個(gè)樣本點(diǎn)的驗(yàn)證曲線：

從驗(yàn)證曲線就可以明顯看出，大數(shù)據(jù)集支持更復(fù)雜的模型，雖然得分頂點(diǎn)大概是六次多項(xiàng)式，但是即使到了20次多項(xiàng)式，過擬合的情況也不太嚴(yán)重——驗(yàn)證得分與訓(xùn)練得分依然十分接近。

通過觀察驗(yàn)證曲線的變化趨勢，可以發(fā)現(xiàn)有兩個(gè)影響模型效果的因素：模型復(fù)雜度和訓(xùn)練集規(guī)模。

3.4.1 學(xué)習(xí)曲線

學(xué)習(xí)曲線（Learning Curve）：通常，我們將模型看成是與訓(xùn)練數(shù)據(jù)規(guī)模相官的函數(shù)，通過不斷增大數(shù)據(jù)集的規(guī)模來擬合模型，一次來觀察模型的行為。反映訓(xùn)練集規(guī)模的訓(xùn)練得分/驗(yàn)證得分曲線被稱為學(xué)習(xí)曲線。^[4]

通過畫出不同訓(xùn)練集大小時(shí)訓(xùn)練集和交叉驗(yàn)證的準(zhǔn)確率，可以看到模型在新數(shù)據(jù)上的表現(xiàn)，進(jìn)而來判斷模型是否方差偏高或偏差過高，以及增大訓(xùn)練集是否可以減小過擬合。

學(xué)習(xí)曲線的特征包含以下三點(diǎn)：

特定復(fù)雜度的模型對較少的數(shù)據(jù)集容易過擬合：此時(shí)訓(xùn)練得分較高，驗(yàn)證得分較低。

特定復(fù)雜度的模型對較大的數(shù)據(jù)集容易欠擬合：隨著數(shù)據(jù)的增大，訓(xùn)練得分會(huì)不斷降低，而驗(yàn)證得分會(huì)不斷升高。

模型的驗(yàn)證集得分永遠(yuǎn)不會(huì)高于訓(xùn)練集得分：兩條曲線一直在靠近，但永遠(yuǎn)不會(huì)交叉。

學(xué)習(xí)曲線最重要的特征是：隨著訓(xùn)練樣本數(shù)量的增加，兩條得分曲線會(huì)收斂到一個(gè)定值。因此，一旦數(shù)據(jù)多到使模型得分已經(jīng)收斂，**那么增加更多的訓(xùn)練樣本也無濟(jì)于事！**改善模型性能的唯一方法就是換模型（通常是換成更復(fù)雜的模型）。

3.4.1.1 學(xué)習(xí)曲線與擬合程度

欠擬合：當(dāng)訓(xùn)練集和測試集的誤差收斂但卻很高時(shí)，為高偏差。左上角的偏差很高，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率都很低，很可能是欠擬合。我們可以增加模型參數(shù)，比如，構(gòu)建更多的特征，減小正則項(xiàng)。此時(shí)通過增加數(shù)據(jù)量是不起作用的。

過擬合：當(dāng)訓(xùn)練集和測試集的誤差之間有大的差距時(shí)，為高方差。當(dāng)訓(xùn)練集的準(zhǔn)確率比其他獨(dú)立數(shù)據(jù)集上的測試結(jié)果的準(zhǔn)確率要高時(shí)，一般都是過擬合。右上角方差很高，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率相差太多，應(yīng)該是過擬合。我們可以增大訓(xùn)練集，降低模型復(fù)雜度，增大正則項(xiàng)，或者通過特征選擇減少特征數(shù)。

理想情況是是找到偏差和方差都很小的情況，即收斂且誤差較小。^[5]

3.4.1.2 Sklean 學(xué)習(xí)曲線

下面計(jì)算前面數(shù)據(jù)集的二次多項(xiàng)式模型和九次多項(xiàng)式模型的學(xué)習(xí)曲線：

import numpy as npdef make_data(N, err=1.0, rseed=1):# randomly sample the datarng = np.random.RandomState(rseed)X = rng.rand(N, 1) ** 2y = 10 - 1. / (X.ravel() + 0.1)if err > 0:y += err * rng.randn(N)return X, yX, y = make_data(40)from sklearn.model_selection import learning_curvefig, ax = plt.subplots(1, 2, figsize=(16, 6)) fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)for i, degree in enumerate([2, 9]):N, train_lc, val_lc = learning_curve(PolynomialRegression(degree),X, y, cv=7,train_sizes=np.linspace(0.3, 1, 25))ax[i].plot(N, np.mean(train_lc, 1), color='blue', label='training score')ax[i].plot(N, np.mean(val_lc, 1), color='red', label='validation score')ax[i].hlines(np.mean([train_lc[-1], val_lc[-1]]), N[0], N[-1],color='gray', linestyle='dashed')ax[i].set_ylim(0, 1)ax[i].set_xlim(N[0], N[-1])ax[i].set_xlabel('training size')ax[i].set_ylabel('score')ax[i].set_title('degree = {0}'.format(degree), size=14)ax[i].legend(loc='best')

從圖中可以看出，不同模型復(fù)雜度下，要達(dá)到收斂所需要的訓(xùn)練集數(shù)據(jù)量是不同的；而當(dāng)學(xué)習(xí)曲線已經(jīng)收斂時(shí)，**再增加訓(xùn)練數(shù)據(jù)也不能顯著改善擬合效果！**這種情況就類似于左圖顯示的二次多項(xiàng)式模型的學(xué)習(xí)曲線。

提高收斂得分的唯一方法就是換模型（通常也是更復(fù)雜的模型）。如右圖所示：采用復(fù)雜度更高的模型之后，雖然學(xué)習(xí)曲線的收斂得分提高了（對比虛線所在位置），但是模型的方差也變大了（對比訓(xùn)練得分與驗(yàn)證得分的差異即可看出）。

如果我們?yōu)閺?fù)雜度更高的模型繼續(xù)增加訓(xùn)練數(shù)據(jù)，那么學(xué)習(xí)曲線最終也會(huì)收斂。

參考資料

[1] Jake VanderPlas, 陶俊杰, 陳小莉. Python 數(shù)據(jù)科學(xué)手冊[M]. 北京: 人民郵電出版社, 2019: 314-317.

[2] Cerisier.談?wù)剬Ψ夯`差的理解[EB/OL].https://blog.csdn.net/Cerisier/article/details/78122653, 2017-09-28.

[3] Scott Fortmann-Roe.Understanding the Bias-Variance Tradeoff[EB/OL].http://scott.fortmann-roe.com/docs/BiasVariance.html, 2012-06.

[4] Jake VanderPlas, 陶俊杰, 陳小莉. Python 數(shù)據(jù)科學(xué)手冊[M]. 北京: 人民郵電出版社, 2019: 322-326.

[5] 不會(huì)停的蝸牛.用學(xué)習(xí)曲線 learning curve 來判別過擬合問題[EB/OL].https://www.jianshu.com/p/d89dee94e247, 2017-06-22.

總結(jié)

以上是生活随笔為你收集整理的机器学习 | 模型选择的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。