常見的缺失值填充方法有填充默認值、均值、眾數(shù)、KNN填充、以及把缺失值作為新的label通過模型來預測等方式，為了介紹這幾種填充方法的使用以及填充效果，本文將在真實數(shù)據(jù)集上進行簡單比較。

1 數(shù)據(jù)集介紹:

數(shù)據(jù)集來源于 天池精準醫(yī)療大賽——人工智能輔助糖尿病遺傳風險預測。該數(shù)據(jù)集共有1000條數(shù)據(jù)，特征共83維，加上id和label共85列，每維特征缺失數(shù)量范圍為0~911。為了簡單比較各種填充方法的效果，我們選取最簡單的二分類模型（邏輯回歸），選取F1 score作為評測指標。
讀取數(shù)據(jù)集如下：

train_data = pd.read_csv('train_data.csv', encoding='gbk') # 讀取數(shù)據(jù)集filter_feature = ['id','label'] # 過濾無用的維度 features = [] for x in train_data.columns: # 取特征if x not in filter_feature:features.append(x)train_data_x = train_data[features] train_data_y = train_data['label'] X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=1) # 劃分訓練集、測試集

常見的填充方法

（1）填充固定值

選取某個固定值/默認值填充缺失值。

train_data.fillna(0, inplace=True) # 填充 0

（2）填充均值

對每一列的缺失值，填充當列的均值。

train_data.fillna(train_data.mean(),inplace=True) # 填充均值

（3）填充中位數(shù)

對每一列的缺失值，填充當列的中位數(shù)。

train_data.fillna(train_data.median(),inplace=True) # 填充中位數(shù)

（4）填充眾數(shù)

對每一列的缺失值，填充當列的眾數(shù)。由于存在某列缺失值過多，眾數(shù)為nan的情況，因此這里取的是每列刪除掉nan值后的眾數(shù)。

train_data.fillna(train_data.mode(),inplace=True) # 填充眾數(shù),該數(shù)據(jù)缺失太多眾數(shù)出現(xiàn)為nan的情況 features_mode = {} for f in features:print f,':', list(train_data[f].dropna().mode().values)features_mode[f] = list(train_data[f].dropna().mode().values)[0] train_data.fillna(features_mode,inplace=True)

（5）填充上下條的數(shù)據(jù)

對每一條數(shù)據(jù)的缺失值，填充其上下條數(shù)據(jù)的值。

train_data.fillna(method='pad', inplace=True) # 填充前一條數(shù)據(jù)的值，但是前一條也不一定有值 train_data.fillna(0, inplace=True)train_data.fillna(method='bfill', inplace=True) # 填充后一條數(shù)據(jù)的值，但是后一條也不一定有值 train_data.fillna(0, inplace=True)

（6）填充插值得到的數(shù)據(jù)

用插值法擬合出缺失的數(shù)據(jù)，然后進行填充。

for f in features: # 插值法填充train_data[f] = train_data[f].interpolate()train_data.dropna(inplace=True)

（7）填充KNN數(shù)據(jù)

填充近鄰的數(shù)據(jù)，先利用knn計算臨近的k個數(shù)據(jù)，然后填充他們的均值。（安裝fancyimpute）除了knn填充，fancyimpute還提供了其他填充方法。

from fancyimpute import KNNtrain_data_x = pd.DataFrame(KNN(k=6).fit_transform(train_data_x), columns=features)

（8）填充模型預測的值

把缺失值作為新的label，建立模型得到預測值，然后進行填充。這里選擇某個缺失值數(shù)量適當?shù)奶卣鞑捎秒S機森林RF進行擬合，其他缺失特征采用均值進行填充。

new_label = 'SNP46' new_features = [] for f in features:if f != new_label:new_features.append(f)new_train_x = train_data[train_data[new_label].isnull()==False][new_features] new_train_x.fillna(new_train_x.mean(), inplace=True) # 其他列填充均值 new_train_y = train_data[train_data[new_label].isnull()==False][new_label]new_predict_x = train_data[train_data[new_label].isnull()==True][new_features] new_predict_x.fillna(new_predict_x.mean(), inplace=True) # 其他列填充均值 new_predict_y = train_data[train_data[new_label].isnull()==True][new_label]rfr = RandomForestRegressor(random_state=666, n_estimators=10, n_jobs=-1) rfr.fit(new_train_x, new_train_y) new_predict_y = rfr.predict(new_predict_x)new_predict_y = pd.DataFrame(new_predict_y, columns=[new_label], index=new_predict_x.index) new_predict_y = pd.concat([new_predict_x, new_predict_y], axis=1) new_train_y = pd.concat([new_train_x, new_train_y], axis=1) new_train_data = pd.concat([new_predict_y,new_train_y]) train_data_x = new_train_data[features] train_data_y = train_data['label']

實驗對比

（1）評測指標

選取F1 score進行評測。

def countF1(train, predict):count = 0 # 統(tǒng)計預測的正確的正樣本數(shù)for i in range(len(train)):if predict[i] == 1 and train[i] == 1:count += 1pre = count * 1.0 / sum(predict) # 準確率recall = count * 1.0 / sum(train) # 召回率return 2 * pre * recall / (pre + recall)

（2）對比結果

原文鏈接：https://blog.csdn.net/jingyi130705008/article/details/82670011

總結

以上是生活随笔為你收集整理的数据分析--缺失值填充的几种方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。