clickhouse建库_ClickHouse高性能数据库
前面的文章ClickHouse之初步認(rèn)識已經(jīng)簡單的介紹了ClickHouse,接下來進(jìn)行簡單的性能測試。測試數(shù)據(jù)來源于美國民用航班的數(shù)據(jù),從1987年到2017年,有1.7億條。
環(huán)境:
centos 6.3,32G內(nèi)存,24核
下載腳本:
#!/bin/bash
for s in `seq 1987 2017`
do
for m in `seq 1 12`
do
mwget -n 128 http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip
done
done
這里采用的是mwget,128個線程,mwget是wget的多線程版本。wget太慢了。關(guān)于mwget的安裝,請參考:https://my.oschina.net/766/blog/156807
下載以后的數(shù)據(jù)是zip壓縮包,如下:
下載完數(shù)據(jù)以后建表:
客戶端登錄:?clickhouse-client -m,如果不加-m啟用多行,那么將會報錯:
?View Code
導(dǎo)入數(shù)據(jù):
for i in *.zip; do echo $i; unzip -cq $i '*.csv' | sed 's/\.00//g' | clickhouse-client --query="INSERT INTO ontime FORMAT CSVWithNames"; done
開始查詢測試:
可以看見1.7億數(shù)據(jù),count用了0.034秒,當(dāng)然列存儲數(shù)據(jù)庫count都不快還搞毛。
繼續(xù)測試其他的語句
從2000年到2016年每天的航班統(tǒng)計
SELECT DayOfWeek, count(*) AS c FROM ontime WHERE Year >= 2000 AND Year <= 2016 GROUP BY DayOfWeek ORDER BY c DESC;
2000 - 2008年度機場延誤數(shù)
SELECT Origin, count(*) AS c FROM ontime WHERE DepDelay>10 AND Year >= 2000 AND Year <= 2008 GROUP BY Origin ORDER BY c DESC LIMIT 10
這些查詢都有一個范圍限制,那么全部查完呢?
比如:
SELECT OriginCityName, DestCityName, count() AS c FROM ontime GROUP BY OriginCityName, DestCityName ORDER BY c DESC LIMIT 10;
可以看見依然快的不像話,哈哈。心動了沒?心動了就動手安裝,導(dǎo)入數(shù)據(jù)測試一下吧。
轉(zhuǎn)載自:http://www.cnblogs.com/gomysql/p/6655553.html
小編附加使用手冊:https://clickhouse.yandex/reference_en.html#MergeTree
這個數(shù)據(jù)庫適合 查詢和存儲兩種方式的數(shù)據(jù),不適合修改類型的數(shù)據(jù),可以應(yīng)用于數(shù)據(jù)的采集,和信息的記錄;
總結(jié)
以上是生活随笔為你收集整理的clickhouse建库_ClickHouse高性能数据库的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 工业相机与民用相机的区别_工业相机和普通
- 下一篇: mysql数据库属性_mysql - 数