mysql中以指定字段去重_数据库根据指定字段去重
需求:對一張用戶表根據name/email/card_num字段去除重復數據;
思路:用group by方法可以查詢出'去重'后的數據,將這些數據存儲到一張臨時表中,然后將臨時表的數據存儲到指定的表中;
誤區及解決方案:group by方法只能獲取部分字段(去重指定字段),不能一次獲取到完整的數據,但是可以通過max函數獲取group by結果集中的id,再根據id集合查詢出全部的記錄。
測試思路
查詢去重后的數據
SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;
從去重后的數據中獲取id集合
SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;
根據去重后的數據中獲取id集合,從源數據中獲得記錄列表
SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
實際方法
根據去重后的數據中獲取id集合,從源數據中獲得記錄列表,將這些列表數據存入一個臨時表中
create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
將臨時表中的數據存入指定的數據表中,完畢
insert into users_copy1 select * from tmp_data;
檢測
檢測結果是不是和第一步查詢去重后的數據總數相同
select count(*) from users_copy1;
測試結果:1.4w條數據中有2300條數據重復,實際運行結果為0.07s,基本滿足現在的需求。
總結
以上是生活随笔為你收集整理的mysql中以指定字段去重_数据库根据指定字段去重的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: u盘怎么制作虚拟机启动u盘 制作虚拟机启
- 下一篇: 苹果mac双系统怎么装驱动 苹果电脑双系