1 java實現

package cn.edu.nwsuaf.sheep2.utils;import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Date;/*** Created by hx on 2018/8/11.*/public class InsertInsideCode {public static void main(String[] args) throws ClassNotFoundException, SQLException {final String url = "jdbc:mysql://127.0.0.1/sheep2";final String name = "com.mysql.jdbc.Driver";final String user = "root";final String password = "";Connection conn = null;Class.forName(name);//指定連接類型conn = DriverManager.getConnection(url, user, password);//獲取連接if (conn!=null) {System.out.println("獲取連接成功");insert(conn);}else {System.out.println("獲取連接失敗");}}public static void insert(Connection conn) {// 開始時間Long begin = new Date().getTime();// sql前綴String prefix = "INSERT INTO sheep_inside_code (id,inside_code) VALUES ";try {// 保存sql后綴StringBuffer suffix = new StringBuffer();// 設置事務為非自動提交conn.setAutoCommit(false);// 比起st，pst會更好些PreparedStatement pst = (PreparedStatement) conn.prepareStatement("");//準備執行語句// 外層循環，總提交事務次數for (int i = 1; i <= 5; i++) {suffix = new StringBuffer();// 第j次提交步長if(i == 1) {for (int j = 1; j < 10; j++) {// 構建SQL后綴suffix.append("(" + j+","+"'0000" +j+"'),");}}else if(i == 2) {for (int j = 10; j < 100; j++) {// 構建SQL后綴suffix.append("(" + j+","+"'000" +j+"'),");}}else if(i == 3) {for (int j = 100; j < 1000; j++) {// 構建SQL后綴suffix.append("(" + j+","+"'00" +j+"'),");}}else if(i == 4) {for (int j = 1000; j < 10000; j++) {// 構建SQL后綴suffix.append("(" + j+","+"'0" +j+"'),");}}else {for (int j = 10000; j <= 99999; j++) {// 構建SQL后綴suffix.append("(" + j+","+"'" +j+"'),");}}// 構建完整SQLString sql = prefix + suffix.substring(0, suffix.length() - 1);// 添加執行SQLpst.addBatch(sql);// 執行操作pst.executeBatch();// 提交事務conn.commit();// 清空上一次添加的數據suffix = new StringBuffer();}// 頭等連接pst.close();conn.close();} catch (SQLException e) {e.printStackTrace();}// 結束時間Long end = new Date().getTime();// 耗時System.out.println("10萬條數據插入花費時間 : " + (end - begin) / 1000 + " s");System.out.println("插入完成");} }

2 存儲過程實現

DROP PROCEDURE if EXISTS test_insert; DELIMITER ; CREATE PROCEDURE test_insert() BEGIN DECLARE y BIGINT DEFAULT 1; WHILE y<100000 DO INSERT INTO `sys`.`student` (`id`, `age`, `name`, `class`) VALUES (y, y, concat(y,'張三'), concat(y,'班')); SET y=y+1; END WHILE ; -- commit; END;

3 Mysql千萬級別數據批量插入只需三步

第一步：配置my.ini文件

文件中配置

bulk_insert_buffer_size=120M 或者更大

將insert語句的長度設為最大。

Max_allowed_packet=1M

Net_buffer_length=8k

保存

第二步：查看設置的參選有沒有生效.

Mysql > SHOW VARIABLES;

Mysql千萬級別數據批量插入只需簡單三步

bulk_insert_buffer_size默認是8M，我們要把它調成100M或百兆以上，也不要太大。下面看調整個好的，如下圖：

Mysql千萬級別數據批量插入只需簡單三步

第三步：完成設置后，批量插入數據時使用多條模式。

INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c");

將以上Mysql插入模式用php語言字符串拼接SQL方法如下，你也可轉換Java,Python,Golang其它你用的最順手的語言，將方法轉換分享吧：

/**

* 多條數據同時轉化成插入SQL語句
* @ CreatBy:IT自由職業者
* @param string $table 表名
* @$arr_key是表字段名的key：$arr_key=array("field1","field2","field3")
* @param array $arr是字段值 數組示例 arrat(("a","b","c"), ("bbc","bbb","caaa"),('add',"bppp","cggg"))
* @return string
*/

function multArray2Insert($table,$arr_key, $arr, $split = '`') {
$arrValues = array();
if (empty($table) || !is_array($arr_key) || !is_array($arr)) {
return false;
}

$sql = "INSERT INTO %s( %s ) values %s ";
foreach ($arr as $k => $v) {
$arrValues[$k] = "'".implode("','",array_values($v))."'";
}

$sql = sprintf($sql, $table, "{$split}" . implode("{$split} ,{$split}", $arr_key) . "{$split}", "(" . implode(") , (", array_values($arrValues)) . ")");
return $sql;
}

以上方法調試過無誤的，頭條沒有代碼格式編輯器，所以發代碼圖。這段代碼的返回字符串結果是INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c") ，做試驗時用的普通配置的電腦是每秒1000條批量插入速度，千萬條數據寫的速度也非常快，新版本PHP語言數據處理能力很強大。如果你的電腦或服務器性能高，你可以調節$arr數組決定你插入多少條數據，靈活使用吧。

總結

以上是生活随笔為你收集整理的mysql插入大量数据总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。