php+mysql实现数据分批插入
生活随笔
收集整理的這篇文章主要介紹了
php+mysql实现数据分批插入
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
上周需要將云端的數(shù)據(jù)有條件的錄入到mysql中,最開始是使用遍歷數(shù)據(jù)然后一條條的插入的笨方法,結(jié)果速度慢的要死,所以又隨便寫了個(gè)笨方法2.0,記錄一下自己菜鳥的成長歷程。同時(shí)這也是在博客園的第一篇文章,目的僅僅是單純的記錄一下自己的狗屎代碼,因?yàn)槲沂遣锁B,哈哈。。。
比如說有10001條數(shù)據(jù),每次插入1000條,分11次插入完成,代碼如下:
1 <?php 2 /** 3 * Created by PhpStorm. 4 * User: Soup 5 * Date: 2016/12/29 6 * Time: 21:04 7 */ 8 9 $mysqli = new mysqli('localhost','root','123456','test'); 10 11 12 13 if ($mysqli->connect_error) { 14 die('Connect Error (' . $mysqli->connect_errno . ') ' 15 . $mysqli->connect_error); 16 } 17 18 /* 19 *@param $data array 要插入的數(shù)據(jù) 20 *@param $each int 每次插入的條數(shù) 21 */ 22 function batchInsert($data,$each){ 23 24 $num = count($data); // 數(shù)據(jù)總數(shù) 25 $step = ceil( $num/$each); // insert執(zhí)行總次數(shù) 26 27 28 $j = 1; 29 $s = $step; 30 31 foreach ($data as $val){ // 目前僅僅是起到循環(huán)作用 32 if($j > $step) break; 33 $arr2 = array_slice($data, ($step - $s) * $each, $each); // 每次取100條 34 $sql = "insert into batch VALUES "; 35 foreach($arr2 as $v){ 36 $exist = $GLOBALS['mysqli']->query("select * from batch where number = '$v' limit 1 "); // 檢查要插入的數(shù)據(jù)是否已存在 37 $row = $exist->fetch_array(MYSQLI_ASSOC); 38 if(empty($row)){ 39 $sql .= "(null,$v,now()),"; // 將sql語句拼接起來 40 } 41 } 42 $sql = rtrim($sql, ','); 43 $result = $GLOBALS['mysqli']->query($sql); 44 echo $sql,'<br>'; 45 46 47 $j++; 48 $s--; 49 } 50 return $result; 51 } 52 53 // 先測(cè)試簡單的數(shù)字插入 54 for ($i = 1;$i <= 505;++$i){ 55 $arr[$i] = $i; 56 } 57 58 var_dump(batchInsert($arr,100));測(cè)試505條數(shù)據(jù),每次插入100條,分6次插入完成。
轉(zhuǎn)載于:https://www.cnblogs.com/soup/p/6235090.html
總結(jié)
以上是生活随笔為你收集整理的php+mysql实现数据分批插入的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux apache 配置fastc
- 下一篇: T-SQL备忘(6):常用内置函数