Python DataFrame使用drop_duplicates()函數去重(保留重復值，取重復值)

摘要

在進行數據分析時，我們經常需要對DataFrame去重，但有時候也會需要只保留重復值。

這里就簡單的介紹一下對于DataFrame去重和取重復值的操作。

創建DataFrame

這里首先創建一個包含一行重復值的DataFrame。

2.DataFrame去重，可以選擇是否保留重復值，默認是保留重復值，想要不保留重復值的話直接設置參數keep為False即可。

3.取DataFrame重復值。大多時候我們都是需要將數據去重，但是有時候很我們也需要取重復數據，這個時候我們就可以根據剛剛上面我們得到的兩個DataFrame來concat到一起之后去重不保留重復值就可以。這樣就把重復值取出來了。

###############################

分割線：補充

###############################

4.DataFrame根據某列去重

5.DataFrame根據某幾列去重

到此這篇關于Python DataFrame使用drop_duplicates()函數去重(保留重復值，取重復值)的文章就介紹到這了,更多相關DataFrame使用drop_duplicates去重內容請搜索我們以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持我們！

時間： 2020-07-19

1)去重 指定多列去重,這是在dataframe沒有獨一無二的字段作為PK(主鍵)時,需要指定多個字段一起作為該行的PK,在這種情況下對整體數據進行去重. Attention:主要用到了drop_duplicates方法,并設置參數subset為多個字段名構成的數組. 具體代碼如下: >>>import pandas as pd >>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']} &

今天筆者想對pandas中的行進行去重操作,找了好久,才找到相關的函數 先看一個小例子 from pandas import Series, DataFrame data = DataFrame({'k': [1, 1, 2, 2]}) print data IsDuplicated = data.duplicated() print IsDuplicated print type(IsDuplicated) data = data.drop_duplicates() print data 執行

官方函數 DataFrame.loc Access a group of rows and columns by label(s) or a boolean array. .loc[] is primarily label based, but may also be used with a boolean array. # 可以使用label值,但是也可以使用布爾值 Allowed inputs are: # 可以接受單個的label,多個label的列表,多個label的切片 A singl

SQL中的select是根據列的名稱來選取:Pandas則更為靈活,不但可根據列名稱選取,還可以根據列所在的position(數字,在第幾行第幾列,注意pandas行列的position是從0開始)選取.相關函數如下: 1)loc,基于列label,可選取特定行(根據行index): 2)iloc,基于行/列的position: 3)at,根據指定行index及列label,快速定位DataFrame的元素: 4)iat,與at類似,不同的是根據position來定位的: 5)ix,為loc與i

concat 與其說是連接,更準確的說是拼接.就是把兩個表直接合在一起.于是有一個突出的問題,是橫向拼接還是縱向拼接,所以concat 函數的關鍵參數是axis . 函數的具體參數是: concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verigy_integrity=False) objs 是需要拼接的對象集合,一般為列表或者字典 axis=0 是

0.摘要 pandas中DataFrame類型中,找出所有有空值的行,可以使用.isnull()方法和.any()方法. 1.找出含有空值的行 方法:DataFrame[DataFrame.isnull().T.any()] 其中,isnull()能夠判斷數據中元素是否為空值:T為轉置:any()判斷該行是否有空值. import pandas as pd import numpy as np n = np.arange(20, dtype=float).reshape(5,4) n[2,3]

相信很多人像我一樣在學習python,pandas過程中對數據的選取和修改有很大的困惑(也許是深受Matlab)的影響... 到今天終于完全搞清楚了!!! 先手工生出一個數據框吧 import numpy as np import pandas as pd df = pd.DataFrame(np.arange(0,60,2).reshape(10,3),columns=list('abc')) df 是這樣子滴 那么這三種選取數據的方式該怎么選擇呢? 一.當每列已有column name時,用

如下dataframe想要刪除多層index top1000[:10] name sex births year prop year sex 1880 F 0 Mary F 7065 1880 0.077643 1 Anna F 2604 1880 0.028618 2 Emma F 2003 1880 0.022013 3 Elizabeth F 1939 1880 0.021309 4 Minnie F 1746 1880 0.019188 5 Margaret F 1578 1880 0.

1. 從字典創建Dataframe >>> import pandas as pd >>> dict1 = {'col1':[1,2,5,7],'col2':['a','b','c','d']} >>> df = pd.DataFrame(dict1) >>> df col1 col2 0 1 a 1 2 b 2 5 c 3 7 d 2. 從列表創建Dataframe (先把列表轉化為字典,再把字典轉化為DataFrame) >

1. 從字典創建DataFrame >>> import pandas >>> dict_a = {'user_id':['webbang','webbang','webbang'],'book_id':['3713327','4074636','26873486'],'rating':['4','4','4'],'mark_date':['2017-03-07','2017-03-07','2017-03-07']} >>> df = pandas.

python數據分析工具pandas中DataFrame和Series作為主要的數據結構. 本文主要是介紹如何對DataFrame數據進行操作并結合一個實例測試操作函數. 1)查看DataFrame數據及屬性 df_obj = DataFrame() #創建DataFrame對象 df_obj.dtypes #查看各行的數據格式 df_obj['列名'].astype(int)#轉換某列的數據類型 df_obj.head() #查看前幾行的數據,默認前5行 df_obj.tail() #查看后幾

總結

以上是生活随笔為你收集整理的python duplicated函数_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。