使用datax導入

1、使用自增id

記錄數

耗時(秒)

TPS

4248882

347

12244

33404813

4038

8272

2、不使用自增id，使用雪花算法生成id后導入

記錄數

耗時(秒)

TPS

4248882

680

6248

33404813

6555

5096

使用MySQL命令load導入

1、csv帶雪花id

> select * from l_wish_log_snow_copy into outfile '/data2/l_wish_log_snow.csv' fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

> load data infile '/data2/l_wish_log_snow.csv' into table l_wish_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

記錄數

耗時(秒)

TPS

4248882

81

52,455

2、自增主鍵id，load命令

先刪除上個步驟中導出的雪花id

> awk -F'\t' '{print $2 "\t" $3 "\t" $4 "\t" $5 "\t" $6 "\t" $7 "\t" $8 "\t" $9 "\t" $10 "\t" $11 "\t" $12 "\t" $13 "\t" $14}' l_wish_log_snow.csv > noid.csv

使用awk分隔符切割，不要第一列，然后連起來就好了，生成不包含id的noid.csv文件，做下一步動作，導入到自增id的表中。

load data infile '/data2/l_wish_log_bak.csv' into table l_wish_log_snow_copy fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n'(deviceid,uid,kid,level,createtime,fighting,version,devicetype,sysversion,platform,num,data,castType);

記錄數

耗時(秒)

TPS

4248882

90

47210

使用load導入33404813行記錄時，發現無法導入，報錯如下：

mysql> load data infile '/data2/l_add_item_snow.csv' into table l_add_item_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

ERROR 1197 (HY000): Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again

MySQL的Innodb引擎是事務型，load文件操作當作一個事務來處理，中途中斷load操作，會導致回滾。

max_binlog_cache_size表示能夠使用的最大cache內存大小。

當執行多語句事務時，max_binlog_cache_size如果不夠大，就會報錯，如上所示。

所有產生的binlog會先寫入binlog_cache_size，直到load data 的操作結束后，

最后，再由binlog_cache_size 寫入二進制日志，如mysql-bin.0000008等。

所以此參數的大小必須大于所要load 的文件的大小，或者當前所要進行的事務操作的大小。

改大max_binlog_cache_size 和binlog_cache_size 問題解決：

mysql> show variables like '%binlog_cache_size';

+-----------------------+------------+

| Variable_name | Value |

+-----------------------+------------+

| binlog_cache_size | 20971520 |

| max_binlog_cache_size | 2147483648 |

+-----------------------+------------+

2 rows in set (0.01 sec)

mysql> SET GLOBAL max_binlog_cache_size =2147483648;

mysql> SET GLOBAL binlog_cache_size =20971520;

很可惜，33404813行記錄的文件有11g，也就是說binlog的緩存區要設置大于11g。

那么問題來了，能不能關閉binlog呢，就不用寫入緩沖區和binlog文件了。

但是測試環境及線上環境MySQL一般都是主從架構，不允許這么玩。

從測試結果來看，load file入庫性能最高，但是主從架構入庫大表需要配置很大的緩沖區，其次是使用datax導入，奇怪的是使用自增id的性能比雪花id性能稍高，使用load雪花id的寫入比自增id稍高，這次對比使用的是innodb引擎，看來說自增id新能差的不可信，并沒有體現出量級差的性能。

總結

以上是生活随笔為你收集整理的datax导入MySQL报错_导入MySQL方法对比的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。