一、需求

一個朋友接到一個需求，從大數(shù)據(jù)平臺收到一個數(shù)據(jù)寫入在20億+，需要快速地加載到MySQL中，供第二天業(yè)務(wù)展示使用。

二、實現(xiàn)再分析

對于單表20億， 在MySQL運維，說真的這塊目前涉及得比較少，也基本沒什么經(jīng)驗，但對于InnoDB單表Insert 如果內(nèi)存大于數(shù)據(jù)情況下，可以維持在10萬-15萬行寫入。 但很多時間我們接受的項目還是數(shù)據(jù)超過內(nèi)存的。 這里使用XeLabs TokuDB做一個測試。

三、XeLabs TokuDB介紹

項目地址： https://github.com/XeLabs/tokudb

相對官方TokuDB的優(yōu)化：

·內(nèi)置了jemalloc 內(nèi)存分配；

·引入更多的內(nèi)置的TokuDB性能指標(biāo)；

·支持Xtrabackup備份；

·引入ZSTD壓縮算法；

·支持TokuDB的binlog_group_commit特性；

四、測試表

TokuDB核心配置：

表結(jié)構(gòu)：

利用load data寫入數(shù)據(jù)：

計算一下每秒寫入速度：

文件大小：

實際文件8.5G，寫入TokuDB大小3.5G，只是接近于一半多點的壓縮量。 對于20億數(shù)據(jù)寫入，實際測試在58分鐘多點就可以完成。可以滿足實際需求，另外對于磁盤IO比較好的機器（SSD類盤，云上的云盤），如果內(nèi)存和數(shù)據(jù)差不多情況，這量級數(shù)據(jù)量測試在Innodb里需要添加自增列，可以在3個小多一點完成。 從最佳實戰(zhàn)上來看，Innodb和TokuDB都寫入同樣的數(shù)據(jù)，InnoDB需要花大概是TokuDB3-4倍時間。文件大小區(qū)別，同樣20億數(shù)據(jù)：

文件大小在5倍大小的區(qū)別。

測試結(jié)論：

利用TokuDB在某云環(huán)境中8核8G內(nèi)存，500G高速云盤環(huán)境，多次測試可以輕松實現(xiàn)57萬每秒的寫入量。

另外測試幾種場景也供大家參考： 如果在TokuDB中使用帶自增的主鍵，主鍵無值讓MySQL內(nèi)部產(chǎn)生寫入速度，下降比較明顯，同樣寫入2億數(shù)據(jù)，帶有自建主鍵：

同樣的數(shù)據(jù)寫入在主鍵自增無值產(chǎn)生時，不能使用TokuDB的 Bulk loader data特性，相當(dāng)于轉(zhuǎn)換為了單條的Insert實現(xiàn)，所以效果上慢太多。

關(guān)于TokuDB Bulk Loader前提要求，這個表是空表，對于自增列，如自增列有值的情況下，也可以使用。 建議實際使用中，如果自增列有值的情況下，可以考慮去除自增屬性，改成唯一索引，這樣減少自增的一些處理邏輯，讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入，壓縮方面并不是很好。

關(guān)于TokuDB Bulk Loader :

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

五、測試環(huán)境說明

測試使用CentOS7環(huán)境，編譯的XeLabs TokuDB版本百度云地址：

https://pan.baidu.com/s/1qYRyH3I 。

歡迎工作一到五年的Java工程師朋友們加入Java填坑之路：860113481

群內(nèi)提供免費的Java架構(gòu)學(xué)習(xí)資料（里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構(gòu)資料）合理利用自己每一分每一秒的時間來學(xué)習(xí)提升自己，不要再用"沒有時間“來掩飾自己思想上的懶惰！趁年輕，使勁拼，給未來的自己一個交代！

總結(jié)

以上是生活随笔為你收集整理的MySQL每秒57万的写入，带你飞~的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。