# -*- coding: utf-8 -*-
"""
Created on Wed Jul 4 18:40:55 2018

@author: zhen
"""

import pandas as pd
import numpy as np
# 創建空的df，保存測試數據
test_df = pd.DataFrame({'K1':['C1','C1','C2','C3','C4','C2','C1'],'K2':['A','A','B','C','D',np.NaN,np.NaN]})
# 按K1列進行分組，組內進行unique操作（去除重復元素，返回元組或列表）
test_df_unique = pd.DataFrame(test_df.groupby(['K1'])['K2'].agg('unique'))
# 自定義函數判斷元組中是否含有nan
def has_nan(list):
　　flag = False
　　for x in list:
　　　　if x is np.NaN:
　　　　　　flag = True
　　　　　　break
　　return flag
# 自定義函數判斷元組中是否不含有nan
def no_nan(list):
　　flag = True
　　for x in list:
　　　　if x is np.NaN:
　　　　　　flag = False
　　　　　　break
　　return flag
# 獲取k2列含有nan的數據
test_df_unique_has_nan = test_df_unique[test_df_unique['K2'].apply(has_nan)]
# 獲取k2列不含有nan的數據
test_df_unique_no_nan = test_df_unique[test_df_unique['K2'].apply(no_nan)]
# 管理測試數據，獲取源數據
test_df_get = test_df[test_df['K1'].isin(test_df_unique_has_nan.index.tolist())]
test_df_alone = test_df[test_df['K1'].isin(test_df_unique_no_nan.index.tolist())]
# 去除含nan的重復數據
test_df_get_nonan = test_df_get[~test_df_get['K2'].isna()]
# 組合數據
result = test_df_get_nonan.append(test_df_alone)
# 去重，得到最終結果
result_save = result.drop_duplicates(subset=['K1','K2'],keep='last')
# 結果落地
result_save.to_excel('C:/Users/zhen/Desktop/數據清洗之去重.xlsx')

測試數據：

?

?結果：

?

轉載于:https://www.cnblogs.com/yszd/p/9266884.html

總結

以上是生活随笔為你收集整理的Python数据清洗基本流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。