一、基準(zhǔn)測(cè)試簡(jiǎn)介

1、什么是基準(zhǔn)測(cè)試

數(shù)據(jù)庫(kù)的基準(zhǔn)測(cè)試是對(duì)數(shù)據(jù)庫(kù)的性能指標(biāo)進(jìn)行定量的、可復(fù)現(xiàn)的、可對(duì)比的測(cè)試。

基準(zhǔn)測(cè)試與壓力測(cè)試

基準(zhǔn)測(cè)試可以理解為針對(duì)系統(tǒng)的一種壓力測(cè)試。但基準(zhǔn)測(cè)試不關(guān)心業(yè)務(wù)邏輯，更加簡(jiǎn)單、直接、易于測(cè)試，數(shù)據(jù)可以由工具生成，不要求真實(shí);而壓力測(cè)試一般考慮業(yè)務(wù)邏輯(如購(gòu)物車業(yè)務(wù))，要求真實(shí)的數(shù)據(jù)。

2、基準(zhǔn)測(cè)試的作用

對(duì)于多數(shù)Web應(yīng)用，整個(gè)系統(tǒng)的瓶頸在于數(shù)據(jù)庫(kù);原因很簡(jiǎn)單：Web應(yīng)用中的其他因素，例如網(wǎng)絡(luò)帶寬、負(fù)載均衡節(jié)點(diǎn)、應(yīng)用服務(wù)器(包括CPU、內(nèi)存、硬盤燈、連接數(shù)等)、緩存，都很容易通過(guò)水平的擴(kuò)展(俗稱加機(jī)器)來(lái)實(shí)現(xiàn)性能的提高。而對(duì)于MySQL，由于數(shù)據(jù)一致性的要求，無(wú)法通過(guò)增加機(jī)器來(lái)分散向數(shù)據(jù)庫(kù)寫數(shù)據(jù)帶來(lái)的壓力;雖然可以通過(guò)前置緩存(Redis等)、讀寫分離、分庫(kù)分表來(lái)減輕壓力，但是與系統(tǒng)其它組件的水平擴(kuò)展相比，受到了太多的限制。

而對(duì)數(shù)據(jù)庫(kù)的基準(zhǔn)測(cè)試的作用，就是分析在當(dāng)前的配置下(包括硬件配置、OS、數(shù)據(jù)庫(kù)設(shè)置等)，數(shù)據(jù)庫(kù)的性能表現(xiàn)，從而找出MySQL的性能閾值，并根據(jù)實(shí)際系統(tǒng)的要求調(diào)整配置。

3、基準(zhǔn)測(cè)試的指標(biāo)

常見(jiàn)的數(shù)據(jù)庫(kù)指標(biāo)包括：

TPS/QPS：衡量吞吐量。

響應(yīng)時(shí)間：包括平均響應(yīng)時(shí)間、最小響應(yīng)時(shí)間、最大響應(yīng)時(shí)間、時(shí)間百分比等，其中時(shí)間百分比參考意義較大，如前95%的請(qǐng)求的最大響應(yīng)時(shí)間。。

并發(fā)量：同時(shí)處理的查詢請(qǐng)求的數(shù)量。

4、基準(zhǔn)測(cè)試的分類

對(duì)MySQL的基準(zhǔn)測(cè)試，有如下兩種思路：

(1)針對(duì)整個(gè)系統(tǒng)的基準(zhǔn)測(cè)試：通過(guò)http請(qǐng)求進(jìn)行測(cè)試，如通過(guò)瀏覽器、APP或postman等測(cè)試工具。該方案的優(yōu)點(diǎn)是能夠更好的針對(duì)整個(gè)系統(tǒng)，測(cè)試結(jié)果更加準(zhǔn)確;缺點(diǎn)是設(shè)計(jì)復(fù)雜實(shí)現(xiàn)困難。

(2)只針對(duì)MySQL的基準(zhǔn)測(cè)試：優(yōu)點(diǎn)和缺點(diǎn)與針對(duì)整個(gè)系統(tǒng)的測(cè)試恰好相反。

在針對(duì)MySQL進(jìn)行基準(zhǔn)測(cè)試時(shí)，一般使用專門的工具進(jìn)行，例如mysqlslap、sysbench等。其中，sysbench比mysqlslap更通用、更強(qiáng)大，且更適合Innodb(因?yàn)槟M了許多Innodb的IO特性)，下面介紹使用sysbench進(jìn)行基準(zhǔn)測(cè)試的方法。

二、sysbench

1、sysbench簡(jiǎn)介

sysbench是跨平臺(tái)的基準(zhǔn)測(cè)試工具，支持多線程，支持多種數(shù)據(jù)庫(kù);主要包括以下幾種測(cè)試：

cpu性能

磁盤io性能

調(diào)度程序性能

內(nèi)存分配及傳輸速度

POSIX線程性能

數(shù)據(jù)庫(kù)性能(OLTP基準(zhǔn)測(cè)試)

本文主要介紹對(duì)數(shù)據(jù)庫(kù)性能的測(cè)試。

2、sysbench安裝

本文使用的環(huán)境時(shí)CentOS 6.5;在其他Linux系統(tǒng)上的安裝方法大同小異。MySQL版本是5.6。

(1)下載解壓

wget?https://github.com/akopytov/sysbench/archive/1.0.zip?-O"sysbench-1.0.zip"

unzip?sysbench-1.0.zip

cd?sysbench-1.0

(2)安裝依賴

yum?install?automake?libtool?–y

(3)安裝

安裝之前，確保位于之前解壓的sysbench目錄中。

./autogen.sh

./configure

export?LD_LIBRARY_PATH=/usr/local/mysql/include?#這里換成機(jī)器中mysql路徑下的include

make

make?install

(4)安裝成功

[root@test?sysbench-1.0]#?sysbench--version

sysbench?1.0.9

3、sysbench語(yǔ)法

執(zhí)行sysbench –help，可以看到sysbench的詳細(xì)使用方法。

sysbench的基本語(yǔ)法如下：

sysbench [options]… [testname] [command]

下面說(shuō)明實(shí)際使用中，常用的參數(shù)和命令。

(1)command

command是sysbench要執(zhí)行的命令，包括prepare、run和cleanup，顧名思義，prepare是為測(cè)試提前準(zhǔn)備數(shù)據(jù)，run是執(zhí)行正式的測(cè)試，cleanup是在測(cè)試完成后對(duì)數(shù)據(jù)庫(kù)進(jìn)行清理。

(2)testname

testname指定了要進(jìn)行的測(cè)試，在老版本的sysbench中，可以通過(guò)–test參數(shù)指定測(cè)試的腳本;而在新版本中，–test參數(shù)已經(jīng)聲明為廢棄，可以不使用–test，而是直接指定腳本。

例如，如下兩種方法效果是一樣的：

sysbench--test=./tests/include/oltp_legacy/oltp.lua

sysbench?./tests/include/oltp_legacy/oltp.lua

測(cè)試時(shí)使用的腳本為lua腳本，可以使用sysbench自帶腳本，也可以自己開發(fā)。對(duì)于大多數(shù)應(yīng)用，使用sysbench自帶的腳本就足夠了。不同版本的sysbench中，lua腳本的位置可能不同，可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.：大多數(shù)數(shù)據(jù)服務(wù)都是oltp類型的，如果你不了解什么是oltp，那么大概率你的數(shù)據(jù)服務(wù)就是oltp類型的。

(3)options

sysbench的參數(shù)有很多，其中比較常用的包括：

MySQL連接信息參數(shù)

–mysql-host：MySQL服務(wù)器主機(jī)名，默認(rèn)localhost;如果在本機(jī)上使用localhost報(bào)錯(cuò)，提示無(wú)法連接MySQL服務(wù)器，改成本機(jī)的IP地址應(yīng)該就可以了。

–mysql-port：MySQL服務(wù)器端口，默認(rèn)3306

–mysql-user：用戶名

–mysql-password：密碼

MySQL執(zhí)行參數(shù)

–oltp-test-mode：執(zhí)行模式，包括simple、nontrx和complex，默認(rèn)是complex。simple模式下只測(cè)試簡(jiǎn)單的查詢;nontrx不僅測(cè)試查詢，還測(cè)試插入更新等，但是不使用事務(wù);complex模式下測(cè)試最全面，會(huì)測(cè)試增刪改查，而且會(huì)使用事務(wù)?？梢愿鶕?jù)自己的需要選擇測(cè)試模式。

–oltp-tables-count：測(cè)試的表數(shù)量，根據(jù)實(shí)際情況選擇

–oltp-table-size：測(cè)試的表的大小，根據(jù)實(shí)際情況選擇

–threads：客戶端的并發(fā)連接數(shù)

–time：測(cè)試執(zhí)行的時(shí)間，單位是秒，該值不要太短，可以選擇120

–report-interval：生成報(bào)告的時(shí)間間隔，單位是秒，如10

4、sysbench使用舉例

在執(zhí)行sysbench時(shí)，應(yīng)該注意：

(1)盡量不要在MySQL服務(wù)器運(yùn)行的機(jī)器上進(jìn)行測(cè)試，一方面可能無(wú)法體現(xiàn)網(wǎng)絡(luò)(哪怕是局域網(wǎng))的影響，另一方面，sysbench的運(yùn)行(尤其是設(shè)置的并發(fā)數(shù)較高時(shí))會(huì)影響MySQL服務(wù)器的表現(xiàn)。

(2)可以逐步增加客戶端的并發(fā)連接數(shù)(–thread參數(shù))，觀察在連接數(shù)不同情況下，MySQL服務(wù)器的表現(xiàn);如分別設(shè)置為10,20,50,100等。

(3)一般執(zhí)行模式選擇complex即可，如果需要特別測(cè)試服務(wù)器只讀性能，或不使用事務(wù)時(shí)的性能，可以選擇simple模式或nontrx模式。

(4)如果連續(xù)進(jìn)行多次測(cè)試，注意確保之前測(cè)試的數(shù)據(jù)已經(jīng)被清理干凈。

下面是sysbench使用的一個(gè)例子：

(1)準(zhǔn)備數(shù)據(jù)

sysbench?./tests/include/oltp_legacy/oltp.lua--mysql-host=192.168.65.66?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?--oltp-test-mode=complex?--oltp-tables-count=10?--oltp-table-size=100000?--threads=10?--time=120?--report-interval=10?prepare

其中，執(zhí)行模式為complex，使用了10個(gè)表，每個(gè)表有10萬(wàn)條數(shù)據(jù)，客戶端的并發(fā)線程數(shù)為10，執(zhí)行時(shí)間為120秒，每10秒生成一次報(bào)告。

(2)執(zhí)行測(cè)試

將測(cè)試結(jié)果導(dǎo)出到文件中，便于后續(xù)分析。

sysbench?./tests/include/oltp_legacy/oltp.lua--mysql-host=192.168.65.66?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?--oltp-test-mode=complex?--oltp-tables-count=10?--oltp-table-size=100000?--threads=10?--time=120?--report-interval=10?run?>>?/home/test/mysysbench.log

(3)清理數(shù)據(jù)

執(zhí)行完測(cè)試后，清理數(shù)據(jù)，否則后面的測(cè)試會(huì)受到影響。

sysbench?./tests/include/oltp_legacy/oltp.lua--mysql-host=192.168.65.66?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?cleanup

5、測(cè)試結(jié)果

測(cè)試結(jié)束后，查看輸出文件，如下所示：

其中，對(duì)于我們比較重要的信息包括：

queries：查詢總數(shù)及qps

transactions：事務(wù)總數(shù)及tps

Latency-95th percentile：前95%的請(qǐng)求的最大響應(yīng)時(shí)間，本例中是344毫秒，這個(gè)延遲非常大，是因?yàn)槲矣玫腗ySQL服務(wù)器性能很差;在正式環(huán)境中這個(gè)數(shù)值是絕對(duì)不能接受的。

三、建議

下面是使用sysbench的一些建議。

1、在開始測(cè)試之前，應(yīng)該首先明確：應(yīng)采用針對(duì)整個(gè)系統(tǒng)的基準(zhǔn)測(cè)試，還是針對(duì)MySQL的基準(zhǔn)測(cè)試，還是二者都需要。

2、如果需要針對(duì)MySQL的基準(zhǔn)測(cè)試，那么還需要明確精度方面的要求：是否需要使用生產(chǎn)環(huán)境的真實(shí)數(shù)據(jù)，還是使用工具生成也可以;前者實(shí)施起來(lái)更加繁瑣。如果要使用真實(shí)數(shù)據(jù)，盡量使用全部數(shù)據(jù)，而不是部分?jǐn)?shù)據(jù)。

3、基準(zhǔn)測(cè)試要進(jìn)行多次才有意義。

4、測(cè)試時(shí)需要注意主從同步的狀態(tài)。

5、測(cè)試必須模擬多線程的情況，單線程情況不但無(wú)法模擬真實(shí)的效率，也無(wú)法模擬阻塞甚至死鎖情況。

本帖最后由 建赟 于 2017-10-31 21:52 編輯

總結(jié)

以上是生活随笔為你收集整理的mysql sysbench_详解MySQL基准测试和sysbench工具的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。