我正在從網上閱讀一些自動天氣數據。 觀察每5分鐘發生一次，并編譯成每個氣象站的月度文件。 一旦我完成了解析文件，DataFrame看起來像這樣：

Sta ?Precip1hr ?Precip5min ?Temp ?DewPnt ?WindSpd ?WindDir ?AtmPress

Date

2001-01-01 00:00:00 ?KPDX ? ? ? ? ?0 ? ? ? ? ? 0 ? ? 4 ? ? ? 3 ? ? ? ?0 ? ? ? ?0 ? ? 30.31

2001-01-01 00:05:00 ?KPDX ? ? ? ? ?0 ? ? ? ? ? 0 ? ? 4 ? ? ? 3 ? ? ? ?0 ? ? ? ?0 ? ? 30.30

2001-01-01 00:10:00 ?KPDX ? ? ? ? ?0 ? ? ? ? ? 0 ? ? 4 ? ? ? 3 ? ? ? ?4 ? ? ? 80 ? ? 30.30

2001-01-01 00:15:00 ?KPDX ? ? ? ? ?0 ? ? ? ? ? 0 ? ? 3 ? ? ? 2 ? ? ? ?5 ? ? ? 90 ? ? 30.30

2001-01-01 00:20:00 ?KPDX ? ? ? ? ?0 ? ? ? ? ? 0 ? ? 3 ? ? ? 2 ? ? ? 10 ? ? ?110 ? ? 30.28

我遇到的問題是，有時科學家會回過頭來糾正觀察結果 - 不是通過編輯錯誤的行，而是通過在文件的末尾附加一個重復的行。 這種情況的簡單示例如下所示：

import pandas

import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)

enddate = datetime.datetime(2001, 1, 1, 5, 0)

index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')

data1 = {'A' : range(6), 'B' : range(6)}

data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}

df1 = pandas.DataFrame(data=data1, index=index)

df2 = pandas.DataFrame(data=data2, index=index[:3])

df3 = df2.append(df1)

df3

A ? B

2001-01-01 00:00:00 ? 20 -50

2001-01-01 01:00:00 ?-30 ?60

2001-01-01 02:00:00 ? 40 -70

2001-01-01 03:00:00 ? ?3 ? 3

2001-01-01 04:00:00 ? ?4 ? 4

2001-01-01 05:00:00 ? ?5 ? 5

2001-01-01 00:00:00 ? ?0 ? 0

2001-01-01 01:00:00 ? ?1 ? 1

2001-01-01 02:00:00 ? ?2 ? 2

所以我需要df3才能成為：

A ? B

2001-01-01 00:00:00 ? ?0 ? 0

2001-01-01 01:00:00 ? ?1 ? 1

2001-01-01 02:00:00 ? ?2 ? 2

2001-01-01 03:00:00 ? ?3 ? 3

2001-01-01 04:00:00 ? ?4 ? 4

2001-01-01 05:00:00 ? ?5 ? 5

我認為添加一列行號(df3['rownum'] = range(df3.shape[0]))可以幫助我為DatetimeIndex的任何值選擇最底部的行，但我仍然堅持找出group_by或pivot(或 ???)使這項工作的陳述。

另一種獲取重復的方法是在夜晚將時鐘設置為夏令時時間的小時數據：凌晨1點，2點，3點，2點，3點......

我建議在Pandas Index本身上使用重復的方法：

df3 = df3.loc[~df3.index.duplicated(keep='first')]

雖然所有其他方法都有效，但目前接受的答案是迄今為止提供的示例中性能最差的答案。此外，雖然groupby方法的性能稍差，但我發現重復的方法更具可讀性。

使用提供的示例數據：

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')

1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()

1000 loops, best of 3: 580 μs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]

1000 loops, best of 3: 307 μs per loop

請注意，您可以通過更改keep參數來保留最后一個元素。

還應該注意，此方法也適用于MultiIndex(使用保羅示例中指定的df1)：

>>> %timeit df1.groupby(level=df1.index.names).last()

1000 loops, best of 3: 771 μs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]

1000 loops, best of 3: 365 μs per loop

My original answer, which is now outdated, kept for reference.

一個簡單的解決方案是使用drop_duplicates

df4 = df3.drop_duplicates(subset='rownum', keep='last')

對我來說，這在大型數據集上運行得很快。

這要求'rownum'是具有重復的列。在修改過的例子中，'rownum'沒有重復，因此沒有任何東西被消除。我們真正想要的是將'cols'設置為索引。我沒有找到告訴drop_duplicates只考慮索引的方法。

這是一個解決方案，它將索引添加為數據框列，刪除重復項，然后刪除新列：

df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

如果你想按正確的順序恢復，只需在數據幀上調用sort即可。

df3 = df3.sort()

另一個變體是：df.reset_index().drop_duplicates(cols=index,take_last=True).set_index(index)

雖然此方法確實有效，但它也會創建DataFrame的兩個臨時副本，并且與使用建議作為備選答案的重復索引或groupby方法相比，其性能明顯較低。

如果索引是MultiIndex，則reset_index()會添加列level_0，level_1等。如果您的索引具有名稱，則將使用該名稱來代替"index"標簽。這使得這對于任何DataFrame來說都不僅僅是單線程。 index_label = getattr(df.index, names, getattr(df.index, name, index))然后cols=index_label然后set_index(index_labels)，甚至這不是萬無一失的(不適用于未命名的多索引)。

將索引移動到列，清除重復項并重置索引非常棒，這正是我所需要的！

給定idx = df.index.name or index，也可以df2 = df.reset_index(); df2.drop_duplicates(idx, inplace=True); df2.set_index(idx, inplace=True)來避免中間副本(由于inplace=True)

天啊。這其實很簡單！

grouped = df3.groupby(level=0)

df4 = grouped.last()

df4

A ? B ?rownum

2001-01-01 00:00:00 ? 0 ? 0 ? ? ? 6

2001-01-01 01:00:00 ? 1 ? 1 ? ? ? 7

2001-01-01 02:00:00 ? 2 ? 2 ? ? ? 8

2001-01-01 03:00:00 ? 3 ? 3 ? ? ? 3

2001-01-01 04:00:00 ? 4 ? 4 ? ? ? 4

2001-01-01 05:00:00 ? 5 ? 5 ? ? ? 5

跟進編輯2013-10-29

在我有一個相當復雜的MultiIndex的情況下，我認為我更喜歡groupby方法。這是后人的簡單例子：

import numpy as np

import pandas

# fake index

idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels

df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])

df1.index.names = ['iA', 'iB']

# artificially append some duplicate data

df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))

df1

# ? ? ? ? ? colA ? ? ?colB

#iA iB

#a ?a ?-1.297535 ?0.691787

# ? b ?-1.688411 ?0.404430

# ? c ? 0.275806 -0.078871

# ? d ?-0.509815 -0.220326

# ? e ?-0.066680 ?0.607233

# ? c ? 0.275806 -0.078871 ?#

# ? e ?-0.066680 ?0.607233 ?#

這是重要的部分

# group the data, using df1.index.names tells pandas to look at the entire index

groups = df1.groupby(level=df1.index.names)

groups.last() # or .first()

# ? ? ? ? ? colA ? ? ?colB

#iA iB

#a ?a ?-1.297535 ?0.691787

# ? b ?-1.688411 ?0.404430

# ? c ? 0.275806 -0.078871

# ? d ?-0.509815 -0.220326

# ? e ?-0.066680 ?0.607233

如果他們有名字，否則(如果一個名字是無)，如果有2個級別df1.groupby(level=[0,1]).last()，則說level=[0,1]將起作用。這應該是Pandas的一部分，作為drop_duplicates的補充

@dashesy是的。使用df.index.names只是按索引的所有級別進行分組的簡單方法。

很好的解決方案，謝謝！我還要補充說，這可以在xarray中處理重復的DateTime索引以及使ds.resample和ds.groupby操作失敗

我之前評論的修正案：只要您將grouped = df3.groupby(level=0)更改為grouped = df3.groupby(dim=time)或任何包含重復項的維度，它就可以在xarray中運行

不幸的是，我不認為Pandas允許人們從指數中刪除重復數據。我建議如下：

df3 = df3.reset_index() # makes date column part of your data

df3.columns = ['timestamp','A','B','rownum'] # set names

df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

刪除重復項(保持第一)

idx = np.unique( df.index.values, return_index = True )[1]

df = df.iloc[idx]

刪除重復項(保留最后)

df = df[::-1]

df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

測試：使用OP數據進行10k循環

numpy method - 3.03 seconds

df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds

df.groupby(df.index).first() - 21 seconds

reset_index() method - 29 seconds

如果像我這樣的人喜歡使用pandas點表示法(如管道)進行可鏈接數據操作，那么以下內容可能會有用：

df3 = df3.query('~index.duplicated()')

這樣可以鏈接這樣的語句：

df3.assign(C=2).query('~index.duplicated()').mean()

我嘗試了這個，但無法讓它工作..我得到一個這樣的錯誤：TypeError: Series objects are mutable, thus they cannot be hashed ..這實際上適合你嗎？

總結

以上是生活随笔為你收集整理的python dataframe去掉索引_关于python：删除具有重复索引的行(Pandas DataFrame和TimeSeries)...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。