mysql快速導入5000萬條數據過程記錄(LOAD DATA INFILE方式)

首先將要導入的數據文件top5000W.txt放入到數據庫數據目錄/var/local/mysql/data/${db_name}/ 下，并確保導入用戶擁有這個txt文件的權限,否則會報Error 13錯誤

1.${table_name}換myisam，我們的場景對事務沒啥要求，innodb引擎速度太慢了,原來導入12個小時都沒導完


2.導入前修改參數和禁止索引更新
mysql> SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql> SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;


mysql> set global KEY_BUFFER_SIZE=256217728;
mysql> alter table ${table_name} disable keys;?


mysql> LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY ?'\n' (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)


3.導入后
mysql> ALTER TABLE ${table_name} ENABLE KEYS;?


耗時統計：
LOAD DATA INFILE... 這步耗時8分鐘左右
ALTER TABLE... 這步耗時12分鐘左右

轉載于:https://www.cnblogs.com/dailidong/p/7571074.html

總結

以上是生活随笔為你收集整理的mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。