網(wǎng)格搜索算法是一種通過遍歷給定的參數(shù)組合來優(yōu)化模型表現(xiàn)的方法。

以決策樹為例，當我們確定了要使用決策樹算法的時候，為了能夠更好地擬合和預(yù)測，我們需要調(diào)整它的參數(shù)。在決策樹算法中，我們通常選擇的參數(shù)是決策樹的最大深度。

于是我們會給出一系列的最大深度的值，比如 {‘max_depth’: [1,2,3,4,5]}，我們會盡可能包含最優(yōu)最大深度。

不過，我們?nèi)绾沃滥囊粋€最大深度的模型是最好的呢？我們需要一種可靠的評分方法，對每個最大深度的決策樹模型都進行評分，這其中非常經(jīng)典的一種方法就是交叉驗證，下面我們就以K折交叉驗證為例，詳細介紹它的算法過程。

首先我們先看一下數(shù)據(jù)集是如何分割的。我們拿到的原始數(shù)據(jù)集首先會按照一定的比例劃分成訓練集和測試集。比如下圖，以8:2分割的數(shù)據(jù)集：

訓練集用來訓練我們的模型，它的作用就像我們平時做的練習題；測試集用來評估我們訓練好的模型表現(xiàn)如何，它的作用像我們做的高考題，這是要絕對保密不能提前被模型看到的。

因此，在K折交叉驗證中，我們用到的數(shù)據(jù)是訓練集中的所有數(shù)據(jù)。我們將訓練集的所有數(shù)據(jù)平均劃分成K份(通常選擇K=10)，取第K份作為驗證集，它的作用就像我們用來估計高考分數(shù)的模擬題，余下的K-1份作為交叉驗證的訓練集。

對于我們最開始選擇的決策樹的5個最大深度 ，以 max_depth=1 為例，我們先用第2-10份數(shù)據(jù)作為訓練集訓練模型，用第1份數(shù)據(jù)作為驗證集對這次訓練的模型進行評分，得到第一個分數(shù)；然后重新構(gòu)建一個 max_depth=1 的決策樹，用第1和3-10份數(shù)據(jù)作為訓練集訓練模型，用第2份數(shù)據(jù)作為驗證集對這次訓練的模型進行評分，得到第二個分數(shù)……以此類推，最后構(gòu)建一個 max_depth=1 的決策樹用第1-9份數(shù)據(jù)作為訓練集訓練模型，用第10份數(shù)據(jù)作為驗證集對這次訓練的模型進行評分，得到第十個分數(shù)。于是對于 max_depth=1 的決策樹模型，我們訓練了10次，驗證了10次，得到了10個驗證分數(shù)，然后計算這10個驗證分數(shù)的平均分數(shù)，就是 max_depth=1 的決策樹模型的最終驗證分數(shù)。

對于 max_depth = 2,3,4,5 時，分別進行和 max_depth=1 相同的交叉驗證過程，得到它們的最終驗證分數(shù)。然后我們就可以對這5個最大深度的決策樹的最終驗證分數(shù)進行比較，分數(shù)最高的那一個就是最優(yōu)最大深度，我們利用最優(yōu)參數(shù)在全部訓練集上訓練一個新的模型，整個模型就是最優(yōu)模型。

下面提供一個簡單的利用決策樹預(yù)測乳腺癌的例子：

from sklearn.model_selection import GridSearchCV, KFold, train_test_split

from sklearn.metrics import make_scorer, accuracy_score

from sklearn.tree import DecisionTreeClassifier

from sklearn.datasets import load_breast_cancer

data = load_breast_cancer()

X_train, X_test, y_train, y_test = train_test_split(

data['data'], data['target'], train_size=0.8, random_state=0)

regressor = DecisionTreeClassifier(random_state=0)

parameters = {'max_depth': range(1, 6)}

scoring_fnc = make_scorer(accuracy_score)

kfold = KFold(n_splits=10)

grid = GridSearchCV(regressor, parameters, scoring_fnc, cv=kfold)

grid = grid.fit(X_train, y_train)

reg = grid.best_estimator_

print('best score: %f'%grid.best_score_)

print('best parameters:')

for key in parameters.keys():

print('%s: %d'%(key, reg.get_params()[key]))

print('test score: %f'%reg.score(X_test, y_test))

import pandas as pd

pd.DataFrame(grid.cv_results_).T

直接用決策樹得到的分數(shù)大約是92%，經(jīng)過網(wǎng)格搜索優(yōu)化以后，我們可以在測試集得到95.6%的準確率：

best score: 0.938462

best parameters:

max_depth: 4

test score: 0.956140

轉(zhuǎn)載自https://zhuanlan.zhihu.com/p/25637642

總結(jié)

以上是生活随笔為你收集整理的kfold_机器学习gridsearchcv(网格搜索)和kfold validation(k折验证)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。