1）去重

指定多列去重，這是在dataframe沒有獨(dú)一無二的字段作為PK（主鍵）時(shí)，需要指定多個(gè)字段一起作為該行的PK，在這種情況下對整體數(shù)據(jù)進(jìn)行去重。

Attention：主要用到了drop_duplicates方法，并設(shè)置參數(shù)subset為多個(gè)字段名構(gòu)成的數(shù)組。

具體代碼如下：

>>>import pandas as pd

>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}

>>>frame=pd.DataFrame(data)

>>>frame

popstate

0a1

1b1

2c2

3d2

4b1

5c2

6d2

>>>frame.drop_duplicates(subset=['pop','state'])

popstate

0a1

1b1

2c2

3d2

2）求差集

假設(shè)有兩個(gè)dataframe為a和b，a和b可以是相互包含的關(guān)系，現(xiàn)在想要將a中和b重復(fù)的內(nèi)容去掉，也就是求差集，步驟如下：

（1）需要對兩個(gè)dataframe進(jìn)行去重。

（2）利用append方法，a=a.append(b)

（3）再次利用append方法，a=a.append(b)

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及設(shè)置參數(shù)keep=False，意思就是只要有重復(fù)，重復(fù)的記錄都去掉。（keep默認(rèn)=’first’,也就是保留第一條記錄）

具體代碼如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}

>>>data_b={'state':[1,2,3],'pop':['b','c','d']}

>>>a=pd.DataFrame(data_a)

>>>a

popstate

0a1

1b1

2c2

>>>b=pd.DataFrame(data_b)

>>>b

popstate

0b1

1c2

2d3

>>>a = a.append(b)

>>>a = a.append(b)

>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)

>>>result

popstate

0a1

以上這篇Python Dataframe 指定多列去重、求差集的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持軟件開發(fā)網(wǎng)。

您可能感興趣的文章:Python實(shí)現(xiàn)嵌套列表及字典并按某一元素去重復(fù)功能示例Python實(shí)現(xiàn)的txt文件去重功能示例對python中兩種列表元素去重函數(shù)性能的比較方法python對excel文檔去重及求和的實(shí)例Python對多屬性的重復(fù)數(shù)據(jù)去重實(shí)例Python實(shí)現(xiàn)嵌套列表去重方法示例Python做文本按行去重的實(shí)現(xiàn)方法python 高效去重復(fù) 支持GB級別大文件的示例代碼

總結(jié)

以上是生活随笔為你收集整理的python去重语句_Python Dataframe 指定多列去重、求差集的方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。