一、Benchmark簡介

Benchmark是一個評價方式，在整個計算機領域有著長期的應用。正如維基百科上的解釋“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications.Therefore, tests were developed that allowed comparison of different architectures.”Benchmark在計算機領域應用最成功的就是性能測試，主要測試負載的執行時間、傳輸速度、吞吐量、資源占用率等。

二、Benchmark的組成

Benchmark的核心由3部分組成：數據集、 工作負載、度量指標。

1、數據集

數據類型分為結構化數據、半結構化數據和非結構化數據。由于大數據環境下的數據類型復雜，負載多樣，所以大數據Benchmark需要生成3種類型的數據和對應負載。

1）結構化數據：傳統的關系數據模型，可用二維表結構表示。典型場景有電商交易、財務系統、醫療HIS數據庫、政務信息化系統等等；

2）半結構化數據：類似XML、HTML之類，自描述，數據結構和內容混雜在一起。典型應用場景有郵件系統、Web搜索引擎存儲、教學資源庫、檔案系統等等，可以考慮使用Hbase等典型的KeyValue存儲；

3）非結構化數據：各種文檔、圖片、視頻和音頻等。典型的應用有視頻網站、圖片相冊、交通視頻監控等等。

2、工作負載

互聯網領域數據龐大，用戶量大，成為大數據問題產生的天然土壤。對工作負載理解和設計可以從以下幾個維度來看

1）密集計算類型：CPU密集型計算、IO密集型計算、網絡密集型計算；

2）計算范式：SQL、批處理、流計算、圖計算、機器學習；

3）計算延遲：在線計算、離線計算、實時計算；

4）應用領域：搜索引擎、社交網絡、電子商務、地理位置、媒體、游戲。

3、度量指標

性能高估的兩大利器就是Benchmark和Profile工具。Benchmark用壓力測試挖掘整個系統的性能狀況，而Profile工具最大限度地呈現系統的運行時狀態和性能指標，方便用戶診斷性能問題和進行調優。

1）工具的使用

? ?a）在架構層面：perf、nmon等工具和命令；

? ?b）在JVM層面：btrace、Jconsole、JVisualVM、JMap、JStack等工具和命令；

? ?c）在Spark層面：web ui、console log，也可以修改Spark源碼打印日志進行性能監控。

2）度量指標

? ?a）從架構角度度量：浮點型操作密度、整數型操作密度、指令中斷、cache命中率、TLB命中；

? ?b）從Spark系統執行時間和吞吐的角度度量：Job作業執行時間、Job吞吐量、Stage執行時間、Stage吞吐量、Task執行時間、Task吞吐量；

? ?c）從Spark系統資源利用率的角度度量：CPU在指定時間段的利用率、內存在指定時間段的利用率、磁盤在指定時間段的利用率、網絡帶寬在指定時間段的利用率；

? ?d）從擴展性的角度度量：數據量擴展、集群節點數據擴展（scale out）、單機性能擴展（scale up）。

三、Benchmark的運用

1、Hibench：由Intel開發的針對Hadoop的基準測試工具，開源的，用戶可以到Github庫中下載

2、Berkeley BigDataBench：隨著Spark的推出，由AMPLab開發的一套大數據基準測試工具，官網介紹

3、Hadoop GridMix：Hadoop自帶的Benchmark，作為Hadoop自帶的測試工具使用方便、負載經典，應用廣泛

4、Bigbench：由Teradata、多倫多大學、InfoSizing、Oracle開發，其設計思想和利用擴展具有研究價值，可以參閱論文Bigbench:Towards an industry standard benchmark for big data analytics。

5、BigDataBenchmark：由中科院研發，官方介紹

6、TPC-DS：廣泛應用于SQL on Hadoop的產品評測

7、其他的Benchmark：Malstone、Cloud Harmony、YCSB、SWIM、LinkBench、DFSIO、Hive performance Benchmark(Pavlo)等等

總結

以上是生活随笔為你收集整理的大数据领域的Benchmark介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。