基于特定數據Oracle、ClickHouse、ES存儲比較

筆者在工作中遇到一種情況，有一批數據需要和其他表進行各種復雜計算、并表操作，輸出統計值。一般情況，類似場景都會使用Oracle視圖進行處理。但本次場景發現做關聯和計算后，使用視圖查詢效率非常低，甚至達到了無法忍受的地步(有時1min以上)。于此同時，現在OLAP數據庫比較火，所以就特定場景從效率和存儲上選取Oracle、ClickHouse、ElasticSearch做了一次簡單的對比。

01

測試集說明與準備

由于本身業務場景是一個并表操作，使用的測試數據集有一個特點，即首先有近30列，其次每行數據基本上只有個別字段有差異，多數列重復度比較高。數據集是1000條原始數據，通過視圖構建初350w條數據。

數據樣例(類似只有個別幾列數據不相同)

1	aaa	......	1	1.5
2	aaa	......	1	3
3	aaa	......	1	2
4	bbb	......	1	30
5	bbb	......	1	12

測試主機配置

均是虛擬機 4c 8g 500G

02

測試步驟

一、Oracle 測試

1、數據準備

從vw_test_list視圖中導入數據到實體表test_detail中。

Insert?into?test_detail select?* from?vw_test_list t ;?

2、查看存儲大小

select?* from?

(select?t.segment_name, t.segment_type, sum(t.bytes / 1024?/ 1024) "占用空間(M)"

from?dba_segments t ??

where?t.segment_type='TABLE'?

group?by?OWNER, t.segment_name, t.segment_type) t

where?t.segment_name='test_detail'

3、測試查詢速度

select?* from?test_detail t where?t.test_title like?'%測試數據集AAA%'

二、ClickHouse測試

1、構建數據表

注意點：

1、clickhouse客戶端對回車敏感，所以如果在文本中編輯完成后，需要替換掉’\n’

2、Clickhouse使用mergetree引擎時需要指定一個date類型的字段定義主鍵。

2、數據加載

從oracle中導出數據，使用click-client進行數據導入

cat data.csv | clickhouse-client --format_csv_delimiter="|" --query="INSERT INTO test_detail FORMAT CSV";

3、查看占用空間

select table as "表名",sum(rows) as "總行數",formatReadableSize(sum(data_uncompressed_bytes)) as "原始大小",formatReadableSize(sum(data_compressed_bytes)) as "壓縮大小",round(sum(data_compressed_bytes) / sum(data_uncompressed_bytes) * 100, 0) "壓縮率" from system.parts where table in('test_detail') group by table;

4、測試查詢效率

SQL與Oracle一致

三、ElasticSearch測試

1、數據導入

使用Logstash進行數據導入

2、查看占用空間

使用 Get 請求

http://localhost:9200/_cat/indices?v

3、測試查詢效率

使用Get請求

http://localhost:9200/dwzq/_search?pretty=true&size=2000

param: { ????"query": { ????????"match": { ????????????"WARNING_TITLE": "%測試數據集AAA%" ????????} ????} }

03

結果比較

整體對比數據存放量與查詢速度：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

	Oracle	ClickHouse	ElasticSearch
數據存放量	1.5g	45m	1.1g
查詢速度	12.219s	0.527s	0.298s

04

結論與總結

本次測試只是針對特定數據集進行測試，不具備普遍性，且也沒有對這oracle、clickhouse、es做特定優化，所以只能大致反應出一些結論。整體面對大寬表，clickhouse的數據壓縮能力還是很強大的。同時查詢速度也可以接受。在測試過程中發現，clickhouse占用機器內存比較多。

clickhouse號稱分析能力杠杠的，后期會將原oracle上的分析、并表操作遷移至clickhouse并進一步對比分析。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的cifar10数据集测试有多少张图_基于特定数据集的Oracle、ClickHouse、ES测试报告的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。