mysql插10万条数据_MySQL数据库插入100w条数据要花多久?
MySQL數據庫插入100w條數據要花多久?
1、多線程插入(單表)
2、多線程插入(多表)
3、預處理SQL
4、多值插入SQL
5、事務(N條提交一次)
# 多線程插入(單表)
問:為何對同一個表的插入多線程會比單線程快?同一時間對一個表的寫操作不應該是獨占的嗎?
答:在數據里做插入操作的時候,整體時間的分配是這樣的:
1、多鏈接耗時 (30%)
2、多發送query到服務器 (20%)
3、多解析query (20%)
4、多插入操作 (10% * 詞條數目)
5、多插入index (10% * Index的數目)
6、多關閉鏈接 (10%)
從這里可以看出來,真正耗時的不是操作,而是鏈接,解析的過程。
MySQL插入數據在寫階段是獨占的,但是插入一條數據仍然需要解析、計算、最后才進行寫處理,比如要給每一條記錄分配自增id,校驗主鍵唯一鍵屬性,或者其他一些邏輯處理,都是需要計算的,所以說多線程能夠提高效率。
# 多線程插入(多表)
分區分表后使用多線程插入。
# 預處理SQL
普通SQL:即使用Statement接口執行SQL
預處理SQL:即使用PreparedStatement接口執行SQL
使用PreparedStatement接口允許數據庫預編譯SQL語句,以后只需傳入參數,避免了數據庫每次都編譯SQL語句,因此性能更好。
·
String sql = "insert into testdb.tuser
總結
以上是生活随笔為你收集整理的mysql插10万条数据_MySQL数据库插入100w条数据要花多久?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python pandas 数据透视表_
- 下一篇: list操作 rediscluster_