使用datax導(dǎo)入

1、使用自增id

記錄數(shù)

耗時(shí)(秒)

TPS

4248882

347

12244

33404813

4038

8272

2、不使用自增id，使用雪花算法生成id后導(dǎo)入

記錄數(shù)

耗時(shí)(秒)

TPS

4248882

680

6248

33404813

6555

5096

使用MySQL命令load導(dǎo)入

1、csv帶雪花id

> select * from l_wish_log_snow_copy into outfile '/data2/l_wish_log_snow.csv' fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

> load data infile '/data2/l_wish_log_snow.csv' into table l_wish_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

記錄數(shù)

耗時(shí)(秒)

TPS

4248882

81

52,455

2、自增主鍵id，load命令

先刪除上個(gè)步驟中導(dǎo)出的雪花id

> awk -F'\t' '{print $2 "\t" $3 "\t" $4 "\t" $5 "\t" $6 "\t" $7 "\t" $8 "\t" $9 "\t" $10 "\t" $11 "\t" $12 "\t" $13 "\t" $14}' l_wish_log_snow.csv > noid.csv

使用awk分隔符切割，不要第一列，然后連起來(lái)就好了，生成不包含id的noid.csv文件，做下一步動(dòng)作，導(dǎo)入到自增id的表中。

load data infile '/data2/l_wish_log_bak.csv' into table l_wish_log_snow_copy fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n'(deviceid,uid,kid,level,createtime,fighting,version,devicetype,sysversion,platform,num,data,castType);

記錄數(shù)

耗時(shí)(秒)

TPS

4248882

90

47210

使用load導(dǎo)入33404813行記錄時(shí)，發(fā)現(xiàn)無(wú)法導(dǎo)入，報(bào)錯(cuò)如下：

mysql> load data infile '/data2/l_add_item_snow.csv' into table l_add_item_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

ERROR 1197 (HY000): Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again

MySQL的Innodb引擎是事務(wù)型，load文件操作當(dāng)作一個(gè)事務(wù)來(lái)處理，中途中斷l(xiāng)oad操作，會(huì)導(dǎo)致回滾。

max_binlog_cache_size表示能夠使用的最大cache內(nèi)存大小。

當(dāng)執(zhí)行多語(yǔ)句事務(wù)時(shí)，max_binlog_cache_size如果不夠大，就會(huì)報(bào)錯(cuò)，如上所示。

所有產(chǎn)生的binlog會(huì)先寫(xiě)入binlog_cache_size，直到load data 的操作結(jié)束后，

最后，再由binlog_cache_size 寫(xiě)入二進(jìn)制日志，如mysql-bin.0000008等。

所以此參數(shù)的大小必須大于所要load 的文件的大小，或者當(dāng)前所要進(jìn)行的事務(wù)操作的大小。

改大max_binlog_cache_size 和binlog_cache_size 問(wèn)題解決：

mysql> show variables like '%binlog_cache_size';

+-----------------------+------------+

| Variable_name | Value |

+-----------------------+------------+

| binlog_cache_size | 20971520 |

| max_binlog_cache_size | 2147483648 |

+-----------------------+------------+

2 rows in set (0.01 sec)

mysql> SET GLOBAL max_binlog_cache_size =2147483648;

mysql> SET GLOBAL binlog_cache_size =20971520;

很可惜，33404813行記錄的文件有11g，也就是說(shuō)binlog的緩存區(qū)要設(shè)置大于11g。

那么問(wèn)題來(lái)了，能不能關(guān)閉binlog呢，就不用寫(xiě)入緩沖區(qū)和binlog文件了。

但是測(cè)試環(huán)境及線上環(huán)境MySQL一般都是主從架構(gòu)，不允許這么玩。

從測(cè)試結(jié)果來(lái)看，load file入庫(kù)性能最高，但是主從架構(gòu)入庫(kù)大表需要配置很大的緩沖區(qū)，其次是使用datax導(dǎo)入，奇怪的是使用自增id的性能比雪花id性能稍高，使用load雪花id的寫(xiě)入比自增id稍高，這次對(duì)比使用的是innodb引擎，看來(lái)說(shuō)自增id新能差的不可信，并沒(méi)有體現(xiàn)出量級(jí)差的性能。

總結(jié)

以上是生活随笔為你收集整理的datax导入MySQL报错_导入MySQL方法对比的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。