數據挖掘—網格搜索2

• 1、分析交叉驗證的結果
• 2、網格的條件參數
• 3、使用不同的交叉驗證策略進行網格搜索
• • （1） 傳入交叉驗證分離器
  • （2）嵌套交叉驗證
  • （3）交叉驗證與網格搜索并行

1、分析交叉驗證的結果

將交叉驗證的結果可視化通常有助于理解模型泛化能力對所搜索參數的依賴關系。由于運行網格搜索的計算成本相當高，所以通常最好從相對比較稀疏且較小的網格開始搜索。然后我們可以檢查交叉驗證網格搜索的結果，可能也會擴展搜索范圍。網格搜索的結果可以在 cv_results_ 屬性中找到，它是一個字典，其中保存了搜索的所有內容。你可以在下面的輸出中看到，它里面包含許多細節，最好將其轉換成 pandas 數據框后再查看：

import pandas as pd results=pd.DataFrame(grid_search.cv_results_) display(results[:5])

results 中每一行對應一種特定的參數設置。對于每種參數設置，交叉驗證所有劃分的結果都被記錄下來，所有劃分的平均值和標準差也被記錄下來。由于我們搜索的是一個二維參數網格（ C 和 gamma ），所以最適合用熱圖可視化（見圖 5-8）。我們首先提取平均驗證分數，然后改變分數數組的形狀，使其坐標軸分別對``應于 C 和 gamma ：

import numpy as np scores=np.array(results.mean_test_score).reshape(6,6) import seaborn as sns import matplotlib.pyplot as plt sns.heatmap(scores,xticklabels=param_grid['gamma'],yticklabels=param_grid['C'],annot=True)

你可以看到， SVC 對參數設置非常敏感。對于許多種參數設置，精度都在 40% 左右，這是非常糟糕的；對于其他參數設置，精度約為 96%。我們可以從這張圖中看出以下幾點。首先，我們調的參數對于獲得良好的性能非常重要。這兩個參數（ C 和 gamma）都很重要，因為調節它們可以將精度從 40% 提高到96%。此外，在我們選擇的參數范圍中也可以看到輸出發生了顯著的變化。樣重要的是要注意，參數的范圍要足夠大：每個參數的最佳取值能位于圖像的邊界上。

2、網格的條件參數

在某些情況下，嘗試所有參數的所有可能組合（正如GridSearchCV 所做的那樣）并不是一個好主意。例如， SVC 有一個 kernel 參數，根據所選擇的 kernel （內核），其他參數也是與之相關的。如果kernel=‘linear’ ，那么模型是線性的，只用到 C 參數。如果kernel=‘rbf’ ，則需要使用 C 和 gamma 兩個參（但用不到類似 degree 的其他參數）。在這種情況下，搜索 C 、 gamma 和 kernel 所有可能的組合沒有意義：如果kernel=‘linear’ ，那么 gamma 是用不到的，嘗試 gamma 的不同取值將會浪費時間。為了處理這種**“條件”（conditional）參數**， GridSearchCV 的 param_grid 可以是字典組成的列表（a list of dictionaries）。列表中的每個字典可擴展為一個獨立的網格。包含內核與參數的網格搜索可能如下所示。

param_grid=[{'kernel':['rbf'],'C':[0.001,0.01,0.1,1,10,100],'gamma':[0.001,0.01,0.1,1,10,100]},{'kernel':['linear'],'C':[0.001,0.01,0.1,1,10,100]}] grid_search=GridSearchCV(SVC(),param_grid,cv=5) grid_search.fit(X_train,y_train) grid_search.score(X_test,y_test)

0.9736842105263158

grid_search.best_score_

0.9732142857142857

grid_search.best_params_

{‘C’: 100, ‘gamma’: 0.01}

results=pd.DataFrame(grid_search.cv_results_) display(results.T)

3、使用不同的交叉驗證策略進行網格搜索

（1） 傳入交叉驗證分離器

與 cross_val_score 類似， GridSearchCV 對分類問題默認使用分層 k 折交叉驗證StratifiedKFold ，對回歸問題默認使用 k 折交叉驗證KFold 。
但是，你可以傳入任何交叉驗證分離器作為 GridSearchCV 的cv 參數：
cv=loo 留一
SuffleSplit
StratifiedShuffleSplit
GroupKFold：每個組都整體的出現在訓練集或者測試集中

（2）嵌套交叉驗證

在前面的例子中，我們先介紹了將數據單次劃分為訓練集、驗證集與測試集，然后介紹了先將數據劃分為訓練集和測試集，再在訓練集上進行交叉驗證。但前面在使用GridSearchCV 時，我們仍然將數據單次劃分為訓練集和測試集這可能會導致結果不穩定，也讓我們過于依賴數據的此次劃分。我們可以再深入一點不是只將原始數據一次劃分為訓練集和測試集，而是使用交叉驗證進行多次劃分，這就是所謂的嵌套交叉驗證（nested cross validation）。在嵌套交叉驗證中，有一個外層循環，遍歷將數據劃分為訓練集和測試集的所有劃分。對于每種劃分都運行一次網格搜索（對于外層循環的每種劃分可能會得到不同的最佳參數）。然后，對于每種外層劃分，利用最佳參數設置計算得到測試集分數。

這一過程的結果是由分數組成的列表——不是一個模型，也不是一種參數設置。這些分數告訴我們在網格找到的最佳參數下模型的泛化能力好壞。由于嵌套交叉驗證不提供可用于新數據的模型，所以在尋找可用于未來數據的預測模型時很少用到它。但是，它對于評估給定模型在特定數據集上的效果很有用。

scores = cross_val_score(GridSearchCV(SVC(), param_grid, cv=5),iris.data, iris.target, cv=5) print("Cross-validation scores: ", scores) print("Mean cross-validation score: ", scores.mean())

Cross-validation scores: [ 0.967 1. 0.967 0.967 1. ]
Mean cross-validation score: 0.98

嵌套交叉驗證的結果可以總結為“ SVC 在 iris 數據集上的交叉驗證平均精度為 98%”——不多也不少。

這里我們在內層循環和外層循環中都使用了分層 5 折交叉驗證。由于 param_grid 包含 36種參數組合，所以需要構建 36×5×5 = 900 個模型，導致嵌套交叉驗證過程的代價很高。

（3）交叉驗證與網格搜索并行

雖然在許多參數上運行網格搜索和在大型數據集上運行網格搜索的計算量可能很大，但令人尷尬的是，這些計算都是并行的（parallel）。這也就是說，在一種交叉驗證劃分下使用特定參數設置來構建一個模型，與利用其他參數的模型是完全獨立的。這使得網格搜索與交叉驗證成為多個 CPU 內核或集群上并行化的理想選擇。你可以將 n_jobs 參數設置為你想使用的 CPU 內核數量，從而在 GridSearchCV 和 cross_val_score 中使用多個內核。你可以設置 n_jobs=-1 來使用所有可用的內核。

總結

以上是生活随笔為你收集整理的数据挖掘—网格搜索2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。