统计所有带有null的特征
生活随笔
收集整理的這篇文章主要介紹了
统计所有带有null的特征
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
以下代碼僅僅適用于numerical特征,不適用于category特征
代碼如下:
#統計有缺失值的特征列 np.set_printoptions(threshold=2000)#全部輸出 pd.set_option('display.max_colwidth',2000)#全部輸出 pd.set_option('max_colwidth',2000) pd.set_option('display.max_rows',None) pd.set_option('display.max_columns',None)def missing_values(df):df1 = pd.DataFrame(df.isnull().sum()).reset_index()df1.columns = ['features', 'freq']df1['percentage'] = df1['freq']/df.shape[0]df1.sort_values('percentage', ascending = False, inplace = True)return df1missing_train = missing_values(train) missing_train.columns = ['features', 'freq_tr', 'percentage_tr'] missing_train結果如下:
第三列freq_tr是缺失值數量
第四列percentage_tr是缺失值比例
?
既可以用來看訓練集,也可以用來看測試集:
missing_test = missing_values(test) missing_test.columns = ['features', 'freq_te', 'percentage_te'] missing_test也可以訓練集和測試集按照特征縱向拼接以后,看總體的缺失值情況:
missing = missing_train.merge(missing_test, on = 'features') missing.head(10)?
也可以指定只看一個特征的null情況:
?
missing[missing['features']=='D7']?
總結
以上是生活随笔為你收集整理的统计所有带有null的特征的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 所谓的inference场景与深度学习终
- 下一篇: 批量绘制train和test关于特征上的