功能：list里面的每一個元素都是dict，根據dict某一個key進行去重

from itertools import compress import pandas as pd from operator import itemgetter from itertools import groupby #功能：list里面的每一個元素都是dict，根據dict某一個key進行去重 #函數1 def distinct(items,key):key = itemgetter(key)items = sorted(items, key=key)return [next(v) for _, v in groupby(items, key=key)] #函數2 #def distinct(items,key): # mask = (~pd.Series(map(itemgetter(key), items)).duplicated()).tolist() # return list(compress(items, mask)) with open("/data/fjs/data/math/math.json",'r') as load_f:items = json.load(load_f)print (len(items))#去重前條目items =distinct(items,'quid')#去重key=quidprint (len(items))#去重后條目 去重前條目：850000 去重后條目：50016

總結

以上是生活随笔為你收集整理的Python含dict的list去重的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。