利用Python的sklearn函數(shù)補全決策樹中缺失的標(biāo)簽信息

主要采用的方法是填補信息，而不是刪除缺失的信息列

文章目錄

• 利用Python的sklearn函數(shù)補全決策樹中缺失的標(biāo)簽信息
• 前言
• 一、sklearn的Imputer模塊
• 二、Pandas的數(shù)據(jù)轉(zhuǎn)換方法
• • 1.數(shù)據(jù)轉(zhuǎn)換：
  • 2.丟失列名信息
  • 注意：
• 總結(jié)

前言

提示：在用Anaconda環(huán)境運行決策樹預(yù)測模型時，出現(xiàn)了報錯信息：" ValueError: Input contains NaN, infinity or a value too large for dtype(‘float32’)." 原因是數(shù)據(jù)列中存在缺失，用決策樹方法時，會自動報錯；

一、sklearn的Imputer模塊

在老版本的sklearn之中，可以直接通過調(diào)用Imputer模塊，但是新版本做了一些更改。新版本調(diào)用方法：

from sklearn.impute import SimpleImputer #引入skleran的數(shù)據(jù)填充方法；

為了使用方便，可以改為:

from sklearn.impute import SimpleImputer as Imputer #引入skleran的數(shù)據(jù)填充方法；

SimpleImputer的參數(shù)如下：

SimpleImputer(missing_values=nan, strategy=’type’, fill_value=None, verbose=0,copy=True)

1. missing_values=nan.np, 即告訴函數(shù)數(shù)據(jù)缺失的類型，一般缺失值默認(rèn)為np.nan

2. strategy=‘ type ’:可填充的值：

a： 為 mean，用均值填補（僅適用數(shù)據(jù)為數(shù)值類型）；b: 為 median，用中位數(shù)替換（僅數(shù)值類型）；c: 為 most_frequent，用眾數(shù)替換(數(shù)值和字符型都可）；d: 為constant，自定義填充類型：需要添加參數(shù) fill_value=None, 一般填0，即 fill_value=0,表示用0填充；

3. copy：設(shè)置為True代表不在原數(shù)據(jù)集上修改，設(shè)置為False時，在原數(shù)據(jù)集上修改，因此最好不要在原數(shù)據(jù)集上修改；

整體方法如下：

from sklearn.impute import SimpleImputer #引入skleran的數(shù)據(jù)填充方法； imputer = SimpleImputer(missing_values = np.nan, strategy = 'mean')#利用均值填充數(shù)據(jù)集；

二、Pandas的數(shù)據(jù)轉(zhuǎn)換方法

1.數(shù)據(jù)轉(zhuǎn)換：

attrition_test = imputer.fit_transform(attrition_final) attrition_test.head()

當(dāng)我們將擴充后的數(shù)據(jù)集賦給attrition_text后，利用 numpy的head（）讀取方法發(fā)現(xiàn)報錯：
是因為此時的 attrition_text類型是一個矩陣類型，需要將其轉(zhuǎn)換回表格類型（df）：

attrition_test = pd.DataFrame(imputer.fit_transform(attrition_final)) attrition_test.head()

此時就轉(zhuǎn)換為了表格類型，可以用head（）方法讀取，記得用英文括號；

2.丟失列名信息

如圖，之前的 attrition_final數(shù)據(jù)集是有列名的，但是賦值轉(zhuǎn)換后出現(xiàn)了列名丟失的問題：

需要在數(shù)據(jù)轉(zhuǎn)換時，將原來的數(shù)據(jù)集的列名賦值給新的數(shù)據(jù)集：

attrition_text = pd.DataFrame(imputer.fit_transform(attrition_final),columns = attrition_final.columns) #填充數(shù)據(jù)集；利用attrition_text來保存填充后的數(shù)據(jù)集信息； attrition_text.head(10)#可指定輸出的行數(shù)；

其中，columns = attrition_final.columns代表了將原來的列名加到新的數(shù)據(jù)集上；

注意：

在轉(zhuǎn)換attrition_text的類型，即pd.DataFrame時就要將列名賦給attrition_text,不可之前利用DataFrame（）轉(zhuǎn)換，后面再用DataFrame（）添加上列名；否則會出現(xiàn)列表的數(shù)據(jù)變?yōu)榭罩档那闆r：即 NaN

總結(jié)

不總結(jié)了，作業(yè)多；修改后的文件鏈接：
鏈接：https://pan.baidu.com/s/1wKK3uuug9Ouwk_xXpoL-Kg
提取碼：hiqm

總結(jié)

以上是生活随笔為你收集整理的Python决策树补全缺失信息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。