reference :?http://www.cnblogs.com/chaosimple/p/4153158.html

關(guān)于缺失值(missing value)的處理

在sklearn的preprocessing包中包含了對數(shù)據(jù)集中缺失值的處理，主要是應(yīng)用Imputer類進(jìn)行處理。

首先需要說明的是，numpy的數(shù)組中可以使用np.nan/np.NaN(Not A Number)來代替缺失值，對于數(shù)組中是否存在nan可以使用np.isnan()來判定。

使用type(np.nan)或者type(np.NaN)可以發(fā)現(xiàn)改值其實(shí)屬于float類型，代碼如下：

因此，如果要進(jìn)行處理的數(shù)據(jù)集中包含缺失值一般步驟如下：

1、使用字符串'nan'來代替數(shù)據(jù)集中的缺失值；

2、將該數(shù)據(jù)集轉(zhuǎn)換為浮點(diǎn)型便可以得到包含np.nan的數(shù)據(jù)集；

3、使用sklearn.preprocessing.Imputer類來處理使用np.nan對缺失值進(jìn)行編碼過的數(shù)據(jù)集。

代碼如下：

上述代碼使用數(shù)組X去“訓(xùn)練”一個(gè)Imputer類，然后用該類的對象去處理數(shù)組Y中的缺失值，缺失值的處理方式是使用X中的均值(axis=0表示按列進(jìn)行)代替Y中的缺失值。

當(dāng)然也可以使用imp對象來對X數(shù)組本身進(jìn)行處理。

通常，我們的數(shù)據(jù)都保存在文件中，也不一定都是Numpy數(shù)組生成的，因此缺失值可能不一定是使用nan來編碼的，對于這種情況可以參考以下代碼：

上述代碼line模擬從文件中讀取出來的一行數(shù)據(jù)，使用nan來代替原始數(shù)據(jù)中的缺失值編碼，將其轉(zhuǎn)換為浮點(diǎn)型，然后使用X中的均值填補(bǔ)Z中的缺失值。

總結(jié)

以上是生活随笔為你收集整理的python预处理缺失值_[Scikit-Learn] - 数据预处理 - 缺失值（Missing Value）处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。