一、缺失值處理 isnull( ) 、fillna( ) 、dropna( )

（1）查看

• 缺失

查看數據集缺失，返回每列的缺失個數 df.isnull().sum()

查看某字段有缺失的行 df[df.a.isnull()]

查看某字段每行的缺失情況：返回T/F：df.score.isnull() 、返回0/1：df.score.isnull().astype(int)

• 缺失占比

返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)

行的缺失占比大于60%的列：data.ix[data.isnull().sum(axis=1)/data.shape[1]>0.6,:]

列的缺失占比大于60%的行：data.isnull().sum(axis=0)/data.shape[0]>0.6

• 可視化

import missingno as msno

msno.bar(Customer, color='IndianRed')

（2）填補 fillna

• 以指定值填補：

#填補一列：df.a.fillna(df.a.mean/median())，#mean：使用均值填補、median：使用中位數填補

#填補多列：

fill_cols=['a','b','c']

fill_values={col:df[col].mode()[0] for col in fill_cols} #使用每個字段的值的眾數填補

df=df.fillna(fill_values)

• 通過字典調用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)
• df.fillna(method='ffill', limit=2) limit：對于前向和后向填充可以連續填充的最大數量
• 利用隨機森林對缺失值預測填充函數

def set_missing(df):

# 把已有的數值型特征取出來

process_df = df.ix[:,[12,1,2,3,4,5,6,7,8,9,10,14,16]]

# 分成已知該特征和未知該特征兩部分

known = process_df[process_df.StockMoney>0].as_matrix()

unknown = process_df[process_df.StockMoney==0].as_matrix()

# X為特征屬性值

X = known[:, 1:]

# y為結果標簽值

y = known[:, 0]

# fit到RandomForestRegressor之中

rfr = RandomForestRegressor(random_state=0,

n_estimators=200,max_depth=3,n_jobs=-1)

rfr.fit(X,y)

# 用得到的模型進行未知特征值預測

predicted = rfr.predict(unknown[:, 1:]).round(0)

print(predicted)

# 用得到的預測結果填補原缺失數據

df.loc[(df.StockMoney==0), 'StockMoney'] = predicted

return df

Data=set_missing(data07)

（3）刪除 dropna

• df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)
• 刪除缺失率超過80%的字段（首先篩選缺失超過80%的列）：df.drop(columns=['a','b'])
• df.dropna(thresh=2) 這一行除去NA值，剩余數值的數量大于等于2，便顯示這一行。

二、重復值處理duplicated( )、drop_duplicates( )

（1）查看

• 查看數據集重復，返回重復的行數

df.duplicated().sum()

(df.duplicated(subset=['a','b','c'])).sum()

• 查看指定字段有的重復的行

df[df.a.duplicated()]

df[df.duplicated(subset=['a','b','c'])] #isnull( )沒有此用法

• 查看指定字段的重復情況，返回T/F：df.a.duplicated()、返回0/1：df.a.duplicated().astype(int)

（2）去重

• df.drop_duplicates()

df.drop_duplicates(subset=None, keep='first', inplace=False)

keep : {‘first’, ‘last’, False}, default first’刪除重復項并保留第一次出現的項(duplicated和drop_duplicates默認保留的是第一個出現的值組合)

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python数据预处理_Python数据预处理——缺失值、重复值的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。