在這一步結束時，您將了解欠擬合和過擬合的概念，并且您將能夠應用這些辦法來使您的模型更準確。

Experimenting With Different Models

現在您已經有了一種可靠的方法來測量模型精度，您可以嘗試使用其他模型，并查看哪種模型可以提供最佳預測。 但是你對模型有什么選擇？

您可以在scikit-learn的文檔中看到決策樹模型有很多選項（比您長期想要或需要的更多）。 最重要的選項決定了樹的深度。 回想一下本課程的第一課，樹的深度是衡量它在進行預測之前分支的數量。 這是一棵相對淺的樹

在實踐中，樹在頂層（所有房屋）和葉子之間有10個分支并不罕見。隨著樹木越來越深，數據集被切成了更少房屋的樹葉。如果樹只有1個分割，則將數據分為2組。如果每組再次拆分，我們將獲得4組房屋。再次拆分每個將創建8個組。如果我們通過在每個級別添加更多分組來保持組數量翻倍，當我們到達第10級時我們將有房屋。即1024片葉子。

當我們將房屋分成許多樹葉時，每片樹葉中的房屋數量也會減少。擁有極少數房屋的樹葉將進行與房屋實際值非常接近的預測，但它們可能會對新數據做出非常不可靠的預測（因為每個預測僅基于少數房屋）。

這是一種稱為過擬合的現象，其中模型幾乎完美地匹配訓練數據，但在驗證其他新數據方面表現不佳。另一方面，如果我們使樹非常淺，它不會將房屋分成非常不同的組。

在極端情況下，如果一棵樹將房屋分成2或4組，每組仍有各種各樣的房屋。對于大多數房屋來說，結果預測可能相差甚遠，即使在訓練數據中也是如此（由于同樣的原因，驗證也會很糟糕）。當模型無法捕獲數據中的重要區別和模式時，即使在訓練數據中它也表現不佳，這稱為欠擬合。

由于我們關注新數據的準確性，我們根據驗證數據估算，我們希望找到欠擬合和過擬合之間的最佳點。在視覺上，我們想要（紅色）驗證曲線的低點。

Example

有一些控制樹深度的替代方案，其中一些樹的路徑比其他路徑擁有更大的深度。 但是max_leaf_nodes參數提供了一種非常合理的方法來控制過擬合與欠擬合。 我們允許模型的葉子越多，我們越多地從上圖中的欠擬合區域移動到過度擬合區域。

我們可以使用函數來幫助比較max_leaf_nodes的不同值的MAE分數：

【1】

from sklearn.metrics import mean_absolute_error from sklearn.tree import DecisionTreeRegressordef get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y):model = DecisionTreeRegressor(max_leaf_nodes=max_leaf_nodes, random_state=0)model.fit(train_X, train_y)preds_val = model.predict(val_X)mae = mean_absolute_error(val_y, preds_val)return(mae)

使用您已經看過的代碼（以及您已經編寫過的代碼）將數據加載到train_X，val_X，train_y和val_y中。

【2】

# Data Loading Code Runs At This Point import pandas as pd# Load data melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv' melbourne_data = pd.read_csv(melbourne_file_path) # Filter rows with missing values filtered_melbourne_data = melbourne_data.dropna(axis=0) # Choose target and features y = filtered_melbourne_data.Price melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'BuildingArea', 'YearBuilt', 'Lattitude', 'Longtitude'] X = filtered_melbourne_data[melbourne_features]from sklearn.model_selection import train_test_split# split data into training and validation data, for both features and target train_X, val_X, train_y, val_y = train_test_split(X, y,random_state = 0)

我們可以使用for循環比較不同max_leaf_nodes的值對應的模型精度：

【3】

# compare MAE with differing values of max_leaf_nodes for max_leaf_nodes in [5, 50, 500, 5000]:my_mae = get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y)print("Max leaf nodes: %d \t\t Mean Absolute Error: %d" %(max_leaf_nodes, my_mae)) Max leaf nodes: 5 Mean Absolute Error: 347380 Max leaf nodes: 50 Mean Absolute Error: 258171 Max leaf nodes: 500 Mean Absolute Error: 243495 Max leaf nodes: 5000 Mean Absolute Error: 254983

以上列出的選項中，500是最優葉子數量。

Conclusion

模型可能會受到以下任何一種情況：

• ???? 過擬合：捕獲不會再發生的虛假模式，導致預測不準確，或者
• ? ? ?欠擬合：未能捕獲相關模式，再次導致預測不準確。

我們使用未在模型訓練中使用的驗證數據來測量候選模型的準確性。 這讓我們嘗試了許多候選模型，并保持最好的模型。

Your Turn

嘗試優化你之前建立的模型

總結

以上是生活随笔為你收集整理的5.Underfitting and Overfitting的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。