本文作者：王碧琪，中南財經政法大學金融學院

本文編輯：任? ?哲

技術總編：張馨月

爬蟲俱樂部云端課程

爬蟲俱樂部于2020年暑期在線上舉辦的Stata與Python編程技術訓練營和Stata數據分析法律與制度專題訓練營已經圓滿結束啦~應廣大學員需求，我們的課程現已在騰訊課堂全面上線，且繼續提供答疑服務。現在關注公眾號并在朋友圈轉發推文《來騰訊課堂學Stata和Python啦！》或《8月Stata數據分析法律與制度專場來啦!》，即可獲得600元課程優惠券，集贊50個再領200元課程優惠券！(截圖發至本公眾號后臺領取)原價2400元的課程，現在只要1600元！

最近，小編的朋友在處理excel數據時遇到了這樣的問題：從兩列數據中挑出相同的數據。于是，他開始了百度，先使用條件格式標識出不同的顏色，再進行篩選。本來開開心心的感嘆：“Excel真強大啊，什么都能干。”可是好景不長，在九千多條數據應用了條件格式之后，Excel已經卡的不能動彈。機智的小編提出用Python來嘗試一下，發現這就是取集合的交集啊！下面，讓我們開始吧~

一、準備工作1數據概覽Excel文件為"d: /place.xlsx"，包含兩列數據，處理目的是：篩選出這兩列數據的重復項并提取出唯一值。2數據類型——可變集合(set)set() 函數是Python中的內置函數，它創建一個無序不重復元素集，可進行關系測試，刪除重復數據，還可以計算交集、差集、并集等。各集合類型具體如下：集合類型函數符號韋恩圖

交集	a.intersection(b)	a&b
并集	a.union(b)	a|b
差集	a.difference(b)	a-b
對稱差集	a.symmetric_difference(b)	a^b

二、程序處理1讀入excel1import?pandas?as?pd?#導入pandas庫2infile='d:?/place.xlsx'?#讀入文件3outfile='d:?/temp.csv'?#導出文件4d1=pd.read_excel(infile)?#讀入excel文件5print(d1)6print(d1.columns)?#顯示列名結果顯示，表中包含兩列數據，列名為"place"、"place2"共有2列*100行數據。2篩選并去重set()是一種不可重復的集合類型，可以用來去重。因為數據中包含重復值，所以這里都用set來處理。1set1=set(d1['place'])?2set2=set(d1['place2'])3print(len(set1))4print(len(set2))結果顯示：每列包含100條數據，而set去重之后長度小于100，說明每一列數據中包含若干重復值。接下來就是取交集了。可以使用函數或者符號來實現。1set3=set1&set22print(set3)3print(len(set3))結果顯示：大功告成了，這就是目標數據。3數據導出將結果導出到outfile中，過程如下：1with?open(outfile,'w',encoding='gb18030')?as?f:??#導出?2????for?i?in?set3:3????????#print(i)4????????f.write(str(i))5????????f.write('\n')結果如下：三、小結Python可以解決Excel中數據和公式太多卡頓的問題，而且更加簡便、不易出錯。使用Excel辦公遇到棘手的問題時，可以試試Python哦~對我們的推文累計打賞超過1000元，我們即可給您開具發票，發票類別為“咨詢費”。用心做事，不負您的支持！往期推文推薦fileexists:告訴你“我”存在嗎？

工作中一切困難的解決途徑——motivatedolly

【爬蟲實戰】喜茶的門店都開在了哪里？

import delimited | 再也不用擔心讀入網頁源代碼“亂七芭蕉”了

如何簡潔地列出指定屬性的變量？ds命令來了！

如何在Python中進行描述性統計分析？

分析師和他們的雇主重視與管理層接觸嗎？——分析師參與盈余電話會議的研究

繁忙的董事與公司業績：來自并購的證據使用Python接口讀取CSMAR數據列表生成式|讓你的代碼簡潔又美觀Stata中變量觀測值的親密伙伴——levelsof命令

爬蟲俱樂部開發的命令更新及常見問題說明

Seminar | 道德培訓真的有用嗎？

網絡爬蟲入門之requests 庫的基本使用——以亞馬遜圖書界面為例reduce()函數和filter()函數閃亮登場“環環”入扣之foreach命令

統計年鑒數據整理小技巧

Seminar | 作為飛行員，我比別的CEO多了什么？

利用TensorFlow構建前饋神經網絡

推文合集(1)| Stata學習者必看的n篇推文！

Seminar | 誠信的價值

關于我們

微信公眾號“Stata and Python數據分析”分享實用的stata、python等軟件的數據處理知識，歡迎轉載、打賞。我們是由李春濤教授領導下的研究生及本科生組成的大數據處理和分析團隊。

此外，歡迎大家踴躍投稿，介紹一些關于stata和python的數據處理和分析技巧。投稿郵箱：statatraining@163.com投稿要求：1)必須原創，禁止抄襲；2)必須準確，詳細，有例子，有截圖；注意事項：1)所有投稿都會經過本公眾號運營團隊成員的審核，審核通過才可錄用，一經錄用，會在該推文里為作者署名，并有賞金分成。2)郵件請注明投稿，郵件名稱為“投稿+推文名稱”。3)應廣大讀者要求，現開通有償問答服務，如果大家遇到有關數據處理、分析等問題，可以在公眾號中提出，只需支付少量賞金，我們會在后期的推文里給予解答。

總結

以上是生活随笔為你收集整理的excel函数去重_Python中实现Excel的重复值提取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。