在最新一屆國(guó)際數(shù)據(jù)庫(kù)頂級(jí)會(huì)議 ACM SIGMOD 2022 上，來(lái)自清華大學(xué)的李國(guó)良和張超兩位老師發(fā)表了一篇論文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial 的專項(xiàng)報(bào)告。這幾期學(xué)術(shù)分享會(huì)的文章，StoneDB 將系統(tǒng)地梳理一下兩位老師的報(bào)告，帶讀者了解 HTAP 的發(fā)展現(xiàn)狀和未來(lái)趨勢(shì)。

在《深度干貨！一篇 Paper 帶您讀懂 HTAP》這期中我們對(duì)HTAP產(chǎn)生的背景和現(xiàn)有的HTAP數(shù)據(jù)庫(kù)及其技術(shù)棧做了比較全面的介紹。

在《爆肝整理 5000 字！HTAP 的關(guān)鍵技術(shù)有哪些？》這一期，我們對(duì) HTAP 的五大關(guān)鍵技術(shù)進(jìn)行了逐個(gè)解讀。

本期主要介紹一下主流的幾個(gè)的 HTAP 數(shù)據(jù)庫(kù)基準(zhǔn)測(cè)試。

編輯：宇亭

頭圖：Yeekin

關(guān)于 HTAP 數(shù)據(jù)庫(kù)的基準(zhǔn)測(cè)試，我們?cè)趯W(xué)術(shù)分享會(huì)的第三期也介紹過(guò)一個(gè)來(lái)自慕尼黑工業(yè)大學(xué) DB 組的相關(guān)工作，感興趣可以了解一下，在這篇報(bào)告中，主要介紹兩種：CH-Benchmark 和 HTAPBench。

如圖所示，這兩種基準(zhǔn)測(cè)試的核心區(qū)別在于，CH-Benchmark 是混合負(fù)載測(cè)試，即 OLTP 和 OLAP 一起測(cè)；HTAPBench 是先固定統(tǒng)一 OLTP 的標(biāo)準(zhǔn)，然后在這個(gè)標(biāo)準(zhǔn)下再去控制測(cè)試 OLAP（當(dāng)然還多了一個(gè)時(shí)間窗口的選擇）。

這里順便簡(jiǎn)單科普一下什么是 TPC-C 和 TPC-H：

先介紹一下 TPC 是啥，TPC（Transaction Processing Performance Council，事務(wù)處理性能委員會(huì)）是由數(shù)十家會(huì)員公司創(chuàng)建的非盈利組織，總部設(shè)在美國(guó)。TPC 的成員主要是計(jì)算機(jī)軟硬件廠家，而非計(jì)算機(jī)用戶，其功能是制定商務(wù)應(yīng)用基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范、性能和價(jià)格度量，并管理測(cè)試結(jié)果的發(fā)布，其他更多信息就可以百度啦，總之這個(gè)組織在國(guó)際上很有影響力，學(xué)術(shù)界和工業(yè)界也都蠻認(rèn)可的。

• TPC-C: TPC Benchmark C 于1992年7月批準(zhǔn)，是一個(gè)在線交易處理（OLTP）基準(zhǔn)。TPC-C 比以前的 OLTP 基準(zhǔn)測(cè)試（如TPC-A）更復(fù)雜，因?yàn)樗哂卸喾N事務(wù)類型、更復(fù)雜的數(shù)據(jù)庫(kù)和整體執(zhí)行結(jié)構(gòu)。TPC-C 涉及五個(gè)不同類型和復(fù)雜度的并發(fā)事務(wù)的混合，要么在線執(zhí)行，要么排隊(duì)等待延遲執(zhí)行。數(shù)據(jù)庫(kù)由九種類型的表組成，這些表存儲(chǔ)的記錄多而廣泛。TPC-C 以每分鐘事務(wù)數(shù)（tpmC）來(lái)衡量。雖然基準(zhǔn)描述了批發(fā)供應(yīng)商的活動(dòng)，但 TPC-C 并不局限于任何特定業(yè)務(wù)部門的活動(dòng)，而是代表必須管理、銷售或分銷產(chǎn)品或服務(wù)的任何行業(yè)。官網(wǎng)：https://www.tpc.org/tpcc/default5.asp
• TPC-H: TPC-H 是 TPC 組織制定的 OLAP 型數(shù)據(jù)庫(kù)管理系統(tǒng)性能測(cè)試的一個(gè)標(biāo)準(zhǔn)，用來(lái)模擬真實(shí)商業(yè)的應(yīng)用環(huán)境，以評(píng)估商業(yè)分析中決策支持系統(tǒng)（DSS）的性能。TPC-H 模擬真實(shí)商業(yè)交易數(shù)據(jù)庫(kù)的動(dòng)態(tài)查詢，包含了一整套面向商業(yè)的 ad-hoc 查詢和并發(fā)數(shù)據(jù)修改，強(qiáng)調(diào)測(cè)試的操作系統(tǒng)、數(shù)據(jù)庫(kù)、和 I/O 性能，關(guān)注查詢能力。通過(guò)TPC-H 測(cè)試，可以全方位評(píng)測(cè)系統(tǒng)的整體商業(yè)計(jì)算綜合能力，具有普遍的商業(yè)實(shí)用意義。官網(wǎng)：https://www.tpc.org/tpch/

簡(jiǎn)單說(shuō)，TPC-C 是專門測(cè)試 OLTP 的；TPC-H 是專門測(cè)試 OLAP 的。當(dāng)然，其實(shí)還有個(gè) TPC-DS 也比較知名（現(xiàn)在一般用來(lái)測(cè)數(shù)倉(cāng)的），感興趣也可以了解一下。

雖然以上兩種測(cè)試基準(zhǔn)已經(jīng)非常給力，但是對(duì)于測(cè)試 HTAP 卻又都顯得片面了一些，因?yàn)?HTAP 數(shù)據(jù)庫(kù)上是同時(shí)跑著 OLTP 和 OLAP 工作負(fù)載的，單獨(dú)只考量 OLTP 或者 OLAP 的性能都是不對(duì)的，要測(cè)就得綜合評(píng)估兩者一起工作時(shí)的性能（比如 TP 和 AP 的隔離性），因此，后續(xù)有人提出了專門針對(duì) HTAP 數(shù)據(jù)庫(kù)的基準(zhǔn)測(cè)試，其中比較知名的就是 CH-Benchmark 和 HTAPBench。

這兩個(gè)測(cè)試基準(zhǔn)單獨(dú)拿出來(lái)都能寫一篇文章，但在報(bào)告中其實(shí)只有兩段話，我這一篇解讀文章先做一個(gè)簡(jiǎn)單的介紹，后面會(huì)出擴(kuò)充的講解，歡迎大家關(guān)注 StoneDB 公眾號(hào)。

一、CH-Benchmark

在 CH-Benchmark 中結(jié)合了 TPC-C 和 TPC-H 兩種基準(zhǔn)，它把原來(lái) TPC-C 中的 9 個(gè)表和 TPC-H 中的 8 個(gè)表修改合并成了 12 個(gè)表，并將兩者的伸縮模型也統(tǒng)一起來(lái)（Scaling TPC-H by the same factors of TPC-C）。

這里小編來(lái)解釋一下,TPC-C 和 TPC-H 遵循不同的伸縮模型。TPC-C 遵循連續(xù)伸縮模型，倉(cāng)庫(kù)表中的數(shù)據(jù)隨著系統(tǒng)性能的增加而增加。相反，TPC-H 遵循固定比例因子模型，其中數(shù)據(jù)庫(kù)大小由比例因子設(shè)置，而與系統(tǒng)性能無(wú)關(guān)。在 CH-Benchmark 中要求令 TPC-H 的伸縮模型去與TPC-C的伸縮模型相適應(yīng)（以TPC-C的伸縮模型為基礎(chǔ)）,也就是要求根據(jù)TPC-C規(guī)則，去設(shè)定各表（Warehouse, Stock, Item, History, Neworder, Orderline, District, Customer, and Order）的規(guī)模。

關(guān)于查詢語(yǔ)句，有三點(diǎn)大的修改：

保留了 TPC-C 中的五個(gè)事務(wù)：新訂單（New Order） ：客戶輸入一筆新的訂貨交易；支付操作（Payment） ：更新客戶帳戶余額以反映其支付狀況；發(fā)貨（Delivery） ：發(fā)貨（模擬批處理交易）；訂單狀態(tài)查詢（Order Status） ：查詢客戶最近交易的狀態(tài)；庫(kù)存狀態(tài)查詢（Stock Level） ：查詢倉(cāng)庫(kù)庫(kù)存狀況，以便能夠及時(shí)補(bǔ)貨。

修改了 TPC-H 的 22 條查詢，修改了 table name 和 join key，并減少了算術(shù)運(yùn)算。

刪掉了刷新函數(shù)（refresh functions）

1 CH-Benchmark 的執(zhí)行規(guī)則

• 先僅測(cè)試 OLTP 或 OLAP，然后混合執(zhí)行(OLTP+OLAP)
• 控制 OLTP 和 OLAP 并行流的個(gè)數(shù)（The number of parallel OLTP and OLAP streams）

這里就是需要用到基準(zhǔn)參數(shù)控制 OLTP 和 OLAP 工作負(fù)載的并發(fā)執(zhí)行。

2 CH-Benchmark 評(píng)測(cè)度量的性能指標(biāo)

這里提出了一種基于參照系的評(píng)測(cè)指標(biāo)，主要是結(jié)合每分鐘事務(wù)(tpmC，transactions per minute)和每小時(shí)已完成查詢(QphH，queries per hour)的指標(biāo)。

• 面向 OLAP 的指標(biāo)（OLAP 占據(jù)主導(dǎo)）：

• 面向 OLTP 的指標(biāo)（OLTP 占據(jù)主導(dǎo)）：

為了進(jìn)行這一比較，我們首先從 n 個(gè) OLTP 和 m 個(gè) OLAP 流隔離運(yùn)行的運(yùn)行中計(jì)算 tpmC 和 QphH 測(cè)量值之間的比率。然后，我們將此比率與并行執(zhí)行 n 個(gè) OLTP 和 m 個(gè) OLAP 流的混合工作負(fù)載所產(chǎn)生的比率進(jìn)行比較。與獨(dú)立運(yùn)行工作負(fù)載部分相比，并行執(zhí)行的比例更高，這意味著數(shù)據(jù)庫(kù)系統(tǒng)在并行執(zhí)行中為 OLTP 事務(wù)提供更好的服務(wù)。

舉個(gè)栗子：隔離執(zhí)行為 5.7@5084 tpmC，混合執(zhí)行為 6.5@5188 tpmC，這表示混合執(zhí)行增加了 OLTP 吞吐量。

參考論文：Cole R, Funke F, Giakoumakis L, et al. The mixed workload CH-benCHmark[C]//Proceedings of the Fourth International Workshop on Testing Database Systems. 2011: 1-6.

二、HTAPBench

1 HTAPBench 的模式和工作負(fù)載

這一塊是和 CH-Benchmark（TPC-C + TPC-H）一樣的，不贅述了。

2 HTAPBench 的執(zhí)行規(guī)則

• Fixed target tpmC with controllable OLAP workers

固定 OLTP （tpmC）為首要目標(biāo)，然后動(dòng)態(tài)地控制 OLAP 的 Worker 線程。這種方式在執(zhí)行過(guò)程中會(huì)根據(jù) OLTP 的實(shí)時(shí)吞吐量來(lái)調(diào)整添加 OLAP 工作流，由此測(cè)試出在固定 OLTP 性能下能獲得的最大 OLAP 性能。

• Time window for querying newly-inserted data（查詢新插入數(shù)據(jù)的時(shí)間窗口）

優(yōu)勢(shì)是增加了時(shí)間窗口的選擇。Time window 這個(gè)不知道大家熟不熟悉，所謂時(shí)間窗口，就是根據(jù)時(shí)間劃分窗口，是將指定時(shí)間范圍內(nèi)的所有數(shù)據(jù)組成一個(gè) window，一次對(duì)一個(gè) window 里面的所有數(shù)據(jù)進(jìn)行計(jì)算。詳細(xì)的不展開講了，后續(xù)我把這篇論文拿出來(lái)解讀一下子。

3 HTAPBench 評(píng)測(cè)度量的性能指標(biāo)：

Under a certain TP throughput, the AP throughput per hour per worker（在一定 TP 吞吐量下，每個(gè) Worker 每小時(shí)的 AP 吞吐量）

參考論文：Coelho F, Paulo J, Vila?a R, et al. Htapbench: Hybrid transactional and analytical processing benchmark[C]//Proceedings of the 8th ACM/SPEC on International Conference on Performance Engineering. 2017: 293-304.

三、對(duì)比

Comparison of HTAP End-to-End Benchmarks

• CH-Benchmark：
  • 優(yōu)勢(shì)：易用、執(zhí)行靈活
  • 劣勢(shì)：數(shù)據(jù)新鮮度較低
• HTAPBench：
  • 優(yōu)勢(shì)：數(shù)據(jù)新鮮度高
  • 劣勢(shì)：固定了 OLTP 的指標(biāo)

四、其他 HTAP 測(cè)試標(biāo)準(zhǔn)

首先介紹一下端到端（End-to-End）的 HTAP 評(píng)測(cè)基準(zhǔn)，比如：

Swarm64 HTAP benchmark

稍早的有 Swarm64 HTAP benchmark：

• 結(jié)合了 CH-benchmark 和 HTAPBench
• 采用了 CH-benchmark 中的混合執(zhí)行規(guī)則
• 采用了 HTAPBench 中的動(dòng)態(tài)時(shí)間窗口。

Github地址：https://github.com/swarm64/s64da-benchmark-toolkit

OLxPBench

最近在 ICDE 2022 上 Kang 提出了 OLxPBench，這種基準(zhǔn)測(cè)試有三個(gè)方法：Su-benchmark（TPC-C）、Fi-Benchmark（small-bank，面向小型銀行）、Tabenchamark（TATP，面向電信行業(yè)）。

參考論文：Kang G, Wang L, Gao W, et al. OLxPBench: Real-time, Semantically Consistent, and Domain-specific are Essential in Benchmarking, Designing, and Implementing HTAP Systems[J]. arXiv preprint arXiv:2203.16095, 2022.

HATrick

來(lái)自威斯康辛大學(xué) Miklai 在 SIGMOD 2022 新提出了一個(gè)叫 HATrick Benchmark 的混合基準(zhǔn)。這個(gè) HATrcik 融合了兩個(gè)新的性能指標(biāo)：吞吐邊界（Throught frontier）和面向查詢的新鮮度（Query-Driven Freshness）。

目前流行的HTAP基準(zhǔn)包括 CH-Benchmark、HTAPBench 和 Swarm64。但在測(cè)試中有著以下的限制：無(wú)法測(cè)量性能隔離；無(wú)法測(cè)量新鮮度；無(wú)法識(shí)別設(shè)計(jì)類別。HATtrick benchmark 作為一個(gè)開源項(xiàng)目，補(bǔ)充了吞吐量前沿，整合了新鮮度測(cè)量方法，可以有效評(píng)測(cè) HTAP 系統(tǒng)。

吞吐量：該概念的引入是為了捕捉事務(wù)處理和分析處理的性能。通過(guò)在2D圖表中可視化吞吐量邊界，我們可以理解 HTAP 系統(tǒng)的整體性能行為，并識(shí)別出問題所在。 Throught frontier

如上圖，X 軸就是事務(wù)的吞吐，Y 軸就是分析的吞吐。這兩張圖怎么看的呢？簡(jiǎn)單來(lái)說(shuō)，就是第一幅圖中綠色曲線靠近紅色對(duì)角線，表示系統(tǒng)相對(duì)穩(wěn)定；第二張圖中綠色曲線遠(yuǎn)離紅色對(duì)角線，表示 AP 和 TP 兩者工作負(fù)載受干擾較大。

新鮮度：該指標(biāo)的設(shè)計(jì)，是為了捕捉HTAP系統(tǒng)對(duì)實(shí)時(shí)分析的支持程度。松散地說(shuō)，HTAP系統(tǒng)的新鮮度是對(duì)OLAP查詢可見的數(shù)據(jù)庫(kù)更新的延遲度量。 參考論文：Milkai E, Chronis Y, Gaffney K P, et al. How Good is My HTAP System?[C]//Proceedings of the 2022 International Conference on Management of Data. 2022: 1810-1824.

Micro-benchmarks

除了端到端（End-to-End）的HTAP基準(zhǔn)，還有一些特別針對(duì)數(shù)據(jù)組織（data organization，為啥特別要針對(duì)這個(gè)？因?yàn)閿?shù)據(jù)組織是 HTAP 的五大關(guān)鍵技術(shù)之一的微型基準(zhǔn)測(cè)試（Micro-benchmarks），比如：

• ADAPT Benchmark [Arulraj et al, SIGMOD 2016]

插入數(shù)據(jù)后簡(jiǎn)單的對(duì)一些列數(shù)據(jù)進(jìn)行 select 操作。

• HAP Benchmark [Athanassoulis et al, VLDB 2019]

這個(gè)就是在 select 基礎(chǔ)上增加了一些 insert、delete 和 update 操作。

好了，以上就是本期的分享內(nèi)容，歡迎點(diǎn)贊收藏轉(zhuǎn)發(fā)，咱們下一期再見~

StoneDB 代碼已完全在 Github 開源，歡迎關(guān)注：

https://github.com/stoneatom/stonedb

StoneDB 官網(wǎng)：

_https://stonedb.io/

總結(jié)

以上是生活随笔為你收集整理的如何给一个 HTAP 数据库做基准测试？StoneDB学术分享会第4期的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。