場景：

爬取的數(shù)據(jù)生成數(shù)據(jù)表，結(jié)構(gòu)與另一個主表相同，需要進行合并+去重

解決：(直接舉例)

首先創(chuàng)建兩個表pep，pep2，其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(

`id` INT UNSIGNED AUTO_INCREMENT,

`no` VARCHAR(100) NOT NULL,

PRIMARY KEY ( `id` )

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數(shù)據(jù)，pep2中插入一條與pep中相同的一條數(shù)據(jù)

insert into pep(no) values('abc');

insert into pep(no) values('caa');

insert into pep2(no) values('abc');

將pep2的數(shù)據(jù)插入pep中

insert into pep (no) select no from pep2;

分組去重創(chuàng)建新的臨時表tmp

create table tmp select id,no from pep group by no;

注意：創(chuàng)建完這個表的id字段類型已經(jīng)不是主鍵自增

可能也會報錯

```Syntax error or access violation: 1055 Expression #1 of SELECT

list is not in GROUP BY clause and contains nonaggregated

column 'XXX.Y.ZZZZ' which is not functionally dependent on

columns in GROUP BY clause; this is incompatible with

sql_mode=only_full_group_by

```

解決：執(zhí)行以下兩個命令：

```

mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';

mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';

```

刪除pep表，并將tmp表重命名為pep

drop table pep;

alter table tmp rename to pep;

查看desc結(jié)構(gòu)和select * from pep發(fā)現(xiàn)id的字段類型變了，這里需要改回原來的類型；

alter table pep add primary key (id);

alter table pep modify id int auto_increment;

還有可以使用join來做去重，更快的還可以添加一個字段(可以是幾個字段+起來的的md5值)，給這個字段創(chuàng)建一個唯一索引unique，以后插入數(shù)據(jù)的時候，自動回過濾掉重復的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對我們的支持。

時間： 2019-05-28

總結(jié)

以上是生活随笔為你收集整理的mysql合并表快速去重_MySQL数据表合并去重的简单实现方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。