MySQLdb批量插入數(shù)據(jù)_redice's Blog

MySQLdb批量插入數(shù)據(jù)

日期：2012-05-01?｜?
來(lái)源：未知?｜?
作者：redice?｜?
260 人圍觀?｜?
0 人鼓掌了！

鯤鵬Web數(shù)據(jù)抓取 - 專業(yè)Web數(shù)據(jù)采集服務(wù)提供者

測(cè)試了一下MySQLdb的executemany()方法，速度是驚人的：10分鐘內(nèi)插入了將近100萬(wàn)的數(shù)據(jù)。趕快來(lái)做個(gè)標(biāo)記！

測(cè)試環(huán)境：Amazon RDS（Amazon Relational Database Service），數(shù)據(jù)表中原本有1900萬(wàn)條數(shù)據(jù)，測(cè)試完畢后，數(shù)據(jù)條數(shù)如下：

而之前我用execute()逐條插入同樣多的數(shù)據(jù)竟然花了一個(gè)多周！！！

executemany()的用法如下：

view plaincopy to clipboardprint?

cursor.executemany(??

??????"""INSERT?INTO?breakfast?(name,?spam,?eggs,?sausage,?price)?

??????VALUES?(%s,?%s,?%s,?%s,?%s)""",??

??????[??

??????("Spam?and?Sausage?Lover's?Plate",?5,?1,?8,?7.95?),??

??????("Not?So?Much?Spam?Plate",?3,?2,?0,?3.95?),??

??????("Don't?Wany?ANY?SPAM!?Plate",?0,?4,?3,?5.95?)??

??????]?)??

cursor.executemany("""INSERT INTO breakfast (name, spam, eggs, sausage, price)VALUES (%s, %s, %s, %s, %s)""",[("Spam and Sausage Lover's Plate", 5, 1, 8, 7.95 ),("Not So Much Spam Plate", 3, 2, 0, 3.95 ),("Don't Wany ANY SPAM! Plate", 0, 4, 3, 5.95 )] )

http://mysql-python.sourceforge.net/MySQLdb.html

1.2.3版的MySQL-python存在bug，"values"要小寫才有效，詳情見下面內(nèi)容：

http://stackoverflow.com/questions/3945642/why-is-executemany-slow-in-python-mysqldb

總結(jié)

以上是生活随笔為你收集整理的MySQLdb批量插入数据的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。