日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

[原创]java使用JDBC向MySQL数据库批次插入10W条数据测试效率

發布時間:2025/7/14 数据库 29 豆豆
生活随笔 收集整理的這篇文章主要介紹了 [原创]java使用JDBC向MySQL数据库批次插入10W条数据测试效率 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

使用JDBC連接MySQL數據庫進行數據插入的時候,特別是大批量數據連續插入(100000),如何提高效率呢?
在JDBC編程接口中Statement 有兩個方法特別值得注意:
通過使用addBatch()和executeBatch()這一對方法可以實現批量處理數據。
不過值得注意的是,首先需要在數據庫鏈接中設置手動提交,connection.setAutoCommit(false),然后在執行Statement之后執行connection.commit()。

import java.io.BufferedReader; import java.io.IOException; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Date; import com.mysql.jdbc.Connection; public class MysqlBatchUtil {private String sql="INSERT INTO db_test (param1,param2,param3,param4,param5) VALUES (?,?,?,?,?)"; private String charset="utf-8"; private String connectStr="jdbc:mysql://localhost:3306/test";private String username="root"; private String password="123456"; private void doStore() throws ClassNotFoundException, SQLException, IOException { Class.forName("com.mysql.jdbc.Driver"); connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";//此處是測試高效批次插入,去掉之后執行時普通批次插入Connection conn = (Connection) DriverManager.getConnection(connectStr, username,password); conn.setAutoCommit(false); // 設置手動提交 int count = 0; PreparedStatement psts = conn.prepareStatement(sql); String line = null; Date begin=new Date();for(int i=0;i<=100000;i++){psts.setString(1, i+"param1"); psts.setString(2, i+"param2"); psts.setString(3, i+"param3"); psts.setString(4, i+"param4"); psts.setString(5, i+"param5"); psts.addBatch(); // 加入批量處理 count++; } psts.executeBatch(); // 執行批量處理 conn.commit(); // 提交 Date end=new Date();System.out.println("數量="+count); System.out.println("運行時間="+(end.getTime()-begin.getTime()));conn.close(); } public static void main(String[] args) {try {new MysqlBatchUtil().doStore();} catch (ClassNotFoundException e) {e.printStackTrace();} catch (SQLException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}} }

測試結果:

數量=100001 運行時間=4725

一共10W,執行時間一共花費 47 秒.
這個效率仍然不高,似乎沒有達到想要的效果,需要進一步改進。
在MySQL JDBC連接字符串中還可以加入參數,
rewriteBatchedStatements=true
mysql默認關閉了batch處理,通過此參數進行打開,這個參數可以重寫向數據庫提交的SQL語句
useServerPrepStmts=false
如果不開啟(useServerPrepStmts=false),使用com.mysql.jdbc.PreparedStatement進行本地SQL拼裝,最后送到db上就是已經替換了?后的最終SQL.
在此稍加改進,連接字符串中加入下面語句(代碼構造方法中去掉注釋):
connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";
再次測試結果如下:

數量=100001 運行時間=1213

同樣的數據量,這次執行只花費了12秒 ,由此可見處理效率大大提高,呵呵,

注:文章是博主原創,轉載請注明來源啊,謝謝親!

總結

以上是生活随笔為你收集整理的[原创]java使用JDBC向MySQL数据库批次插入10W条数据测试效率的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。