MySQLdb批量插入數據_redice's Blog

MySQLdb批量插入數據

日期：2012-05-01?｜?
來源：未知?｜?
作者：redice?｜?
260 人圍觀?｜?
0 人鼓掌了！

鯤鵬Web數據抓取 - 專業Web數據采集服務提供者

測試了一下MySQLdb的executemany()方法，速度是驚人的：10分鐘內插入了將近100萬的數據。趕快來做個標記！

測試環境：Amazon RDS（Amazon Relational Database Service），數據表中原本有1900萬條數據，測試完畢后，數據條數如下：

而之前我用execute()逐條插入同樣多的數據竟然花了一個多周！！！

executemany()的用法如下：

view plaincopy to clipboardprint?

cursor.executemany(??

??????"""INSERT?INTO?breakfast?(name,?spam,?eggs,?sausage,?price)?

??????VALUES?(%s,?%s,?%s,?%s,?%s)""",??

??????[??

??????("Spam?and?Sausage?Lover's?Plate",?5,?1,?8,?7.95?),??

??????("Not?So?Much?Spam?Plate",?3,?2,?0,?3.95?),??

??????("Don't?Wany?ANY?SPAM!?Plate",?0,?4,?3,?5.95?)??

??????]?)??

cursor.executemany("""INSERT INTO breakfast (name, spam, eggs, sausage, price)VALUES (%s, %s, %s, %s, %s)""",[("Spam and Sausage Lover's Plate", 5, 1, 8, 7.95 ),("Not So Much Spam Plate", 3, 2, 0, 3.95 ),("Don't Wany ANY SPAM! Plate", 0, 4, 3, 5.95 )] )

http://mysql-python.sourceforge.net/MySQLdb.html

1.2.3版的MySQL-python存在bug，"values"要小寫才有效，詳情見下面內容：

http://stackoverflow.com/questions/3945642/why-is-executemany-slow-in-python-mysqldb

總結

以上是生活随笔為你收集整理的MySQLdb批量插入数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。