最近嘗試插入1百萬條數據進db，以mysql為例。

1. 順序insert

先寫了個無腦的for循環作為base-line，插1萬條耗時1m53s，根本不敢插1百萬。

foreach(var student in students){var sql = string.Format("insert into student ... ");cmd.CommandText = sql;cmd.ExecuteNonQuery(); }

2. batch insert

上面這種方式有2個問題：

在DB端，每次執行都會以1個單獨的事務執行；

在網絡上，傳輸的次數過多、每次傳輸的效率較差。

相應的解決方法是：

在執行前后套BeginTransaction/Commit，保證所有的insert都是在一個大事務里； // 光是這樣，1萬條只要不到2s，1百萬條只要75s

每1萬條數據，拼接成1個大sql，只要不超過 max_allowed_packet=1M 的默認限制即可。具體多少行拼成1條，視字段多少而定，拼成的sql如下。 // 這樣的效果也很顯著，1百萬條只要13s

insert into table (fields...) values (1...), (2...), ... , (10000...);

可以修改mysql的默認設置，在my.ini里添加如下配置。但試下來效果并不明顯，改成10M、每次拼接10萬條數據，總時間仍為13s，可以想見這時瓶頸已經不是傳輸時間了，而是對表的操作。

[mysqld]max_allowed_packet=10M // 1M default

3. MultiThread insert

試了下在方法2(batch insert)的基礎上，采用4個線程同時insert，1百萬條數據耗時16s，反而慢了。估計時間都耗在創建connection、單表加鎖上了。在這個場景下，MultiThread對解決問題無益。

4. ibdata1無限增長的問題

每個Student對象大約是50字節，每insert1百萬大約是50M。多insert幾次后執行刪除操作，發現ibdata1文件反而接近翻倍的增長。解決方法如下：

• 關閉mysqld服務
• 刪除ibdata1、ib_logfile0/1、對應的database文件夾
• my.ini的[mysqld]里添加 innodb_file_per_table=1 ，這樣就會給每個表創建一個單獨的ibd文件

最后是Demo的源碼，如果你有更快的方法，不妨留言~

轉載于:https://www.cnblogs.com/AlexanderYao/p/5330634.html

總結

以上是生活随笔為你收集整理的batch insert 1 million datas into mysql的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。