村長今天跟大家簡單分享一下如何在Excel、SQL和Python中用不同的方法提取不重復(fù)值(數(shù)據(jù)去重)。

一、Excel

1.1、函數(shù)法(數(shù)組公式)

函數(shù)公式：=IFERROR(INDEX(A:A,SMALL(IF(MATCH($A$2:$A$16,$A$2:$A$16,0)=ROW($1:$15),ROW($2:$16),9^9),ROW(A1))),"")

1.2、技巧法(刪除重復(fù)值)

操作步驟：

選中數(shù)據(jù)列，然后點(diǎn)擊【數(shù)據(jù)】選項(xiàng)卡，選擇“刪除重復(fù)值”

1.3、技巧法(高級篩選)

操作步驟：

選中數(shù)據(jù)區(qū)域，然后點(diǎn)擊【數(shù)據(jù)】選項(xiàng)卡，選擇“高級篩選”，勾選“選擇不重復(fù)的記錄”，選擇將篩選的數(shù)據(jù)復(fù)制到指定位置。

1.4、技巧法(數(shù)據(jù)透視)

操作步驟：

選中數(shù)據(jù)區(qū)域任意一個(gè)單元格或整個(gè)數(shù)據(jù)區(qū)域，然后點(diǎn)擊【插入】選項(xiàng)卡，選擇“數(shù)據(jù)透視表”，勾選“現(xiàn)有工作表”并選擇將透視的數(shù)據(jù)存放到指定位置，勾選“姓名”字段值。

二、數(shù)據(jù)庫(SQL)

2.1、去重復(fù)法(DISTINCT去重復(fù))

SQL語句：

SELECT DISTINCT NAME FROM TEST

語句結(jié)構(gòu)：

SELECT?DISTINCT 字段名稱 FROM 表名稱

2.2、取最新數(shù)據(jù)(rowid屬性)

SQL語句：

SELECT NAME,MAX(ROWID) FROM TEST GROUP BY NAME

語句結(jié)構(gòu)：

SELECT 字段名稱,MAX(ROWID) FROM 表名稱 GROUP BY 字段名稱

2.3、分類匯總法(COUNT函數(shù))

SQL語句：

SELECT NAME,COUNT(NAME) FROM TEST GROUP BY NAME

語句結(jié)構(gòu)：

SELECT 字段名稱,COUNT(字段名稱) FROM 表名稱?GROUP BY 字段名稱

三、Python

3.1、集合的特性(SET方法)

Python代碼：

import pandas as pd
df=pd.DataFrame(pd.read_excel('F:\\test.xlsx'))
df2=list(set(df['NAME']))

print(df2)

3.2、字典(keys方法)

Python代碼：

import pandas as pd
df=pd.DataFrame(pd.read_excel('F:\\test.xlsx'))
df2=list({}.fromkeys(df['NAME']).keys())

print(df2)

3.3、循環(huán)查找的方式(for循環(huán))

Python代碼：

import pandas as pd
df=pd.DataFrame(pd.read_excel('F:\\test.xlsx'))
df2 = []for i in df['NAME']:if i not in df2:
df2.append(i)

print(df2)

好了，今天的分享就先到這里吧，學(xué)習(xí)有點(diǎn)累了，下面插播一則廣告提提神，感興趣的朋友可以了解一下！

總結(jié)

以上是生活随笔為你收集整理的python 调用不存在的方法 统一处理_提取不重复数据在Excel、SQL与Python中的处理方法...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。