今天用一個實例給大家寫寫在機器學(xué)習(xí)中如何進行訓(xùn)練集和測試集的劃分。

實例操練

首先導(dǎo)入今天要使用的數(shù)據(jù)集

import pandas as pddf = pd.read_csv("carprices.csv")df.head()

這是一個汽車銷售的數(shù)據(jù)集，里面的變量包括汽車里程、使用年限、銷售價格。我們今天要做的就是用汽車里程、使用年限來建立一個預(yù)測銷售價格的機器學(xué)習(xí)模型。

首先，我們畫圖看一看數(shù)據(jù)關(guān)系

import matplotlib.pyplot as pltplt.scatter(df['Mileage'],df['Sell Price($)'])plt.scatter(df['Age(yrs)'],df['Sell Price($)'])

運行以上代碼可以出2個點圖，分別展示汽車里程和銷售價格的關(guān)系和使用年限和銷售價格的關(guān)系。

使用年限和銷售價格的關(guān)系散點圖

汽車里程和銷售價格的關(guān)系散點圖

通過兩個散點圖，我們可以發(fā)現(xiàn)使用線性回歸模型進行建模還是比較好的方法，現(xiàn)在我們就要進行訓(xùn)練集和測試集的劃分了

訓(xùn)練集 用來訓(xùn)練模型，估計參數(shù)

測試集 用來測試和評估訓(xùn)練出來的模型好壞，不能用于訓(xùn)練模型

劃分數(shù)據(jù)集實操

首先我們要指定數(shù)據(jù)和數(shù)據(jù)標(biāo)簽

X = df[['Mileage','Age(yrs)']]y = df['Sell Price($)']

在本例中，數(shù)據(jù)集為汽車里程和使用年限構(gòu)成的數(shù)據(jù)框，標(biāo)簽為汽車價格。

然后我們用train_test_split方法分割數(shù)據(jù)為訓(xùn)練集和測試集，代碼如下

from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3)

講解一下train_test_split的參數(shù)：

train_test_split的基本形式如下

X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

其中

train_data：所要劃分的樣本特征集

train_target：所要劃分的樣本結(jié)果

test_size：樣本占比，如果是整數(shù)的話就是樣本的數(shù)量

random_state：是隨機數(shù)的種子，在需要重復(fù)試驗的時候，保證得到一組一樣的隨機數(shù)

stratify是為了保持split前類的分布，通常在類分布不平衡的情況下會用到stratify

在我們的例子中，我們只給出了test_size=0.3，所以我們按照7：3劃分得到了訓(xùn)練集和測試集，而且這個劃分是隨機的。我們可以看一看訓(xùn)練數(shù)據(jù)長啥樣

X_trainy_train

以上代碼可以分別輸出訓(xùn)練集的數(shù)據(jù)和標(biāo)簽。

建立線性回歸模型

from sklearn.linear_model import LinearRegressionclf = LinearRegression()clf.fit(X_train, y_train)

通過以上代碼我們便建立了回歸模型，運用此模型我們可以進行對X_test的預(yù)測

clf.predict(X_test)

然后，我們將模型預(yù)測值和實際的y_test值進行對比可以得到模型正確率。

clf.score(X_test, y_test)

可以看到，我們訓(xùn)練的線性回歸模型的正確率達到90%多。

總結(jié)

以上是生活随笔為你收集整理的python划分训练集和测试集_python机器学习：如何划分训练集和测试集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。