點擊上方藍字關(guān)注我們

“?關(guān)于clickhouse的監(jiān)控和可視化界面，想必剛接觸到ch的人是一頭霧水，大廠往往會給ch集群定制各種監(jiān)控和可視化分析，普通用戶就需要我們自己尋求現(xiàn)成的開源工具，在一些常見的開源工具上，我們可以較好的使用和定制我們想要展示的內(nèi)容。本文從grafana和metabase兩個組件出發(fā)，分析了其安裝和配合ch使用的過程。”

grafana

安裝

下載安裝，見[1][2]，ch需要注意下載插件并解壓到插件目錄即可。

使用

可以直接導(dǎo)入json來完成clickhouse的看板的生成。

常用的看板

ClickHouse Queries

該看板要開啟clickhouse的log配置才可以使用，其它的看板也有和其它監(jiān)控工具結(jié)合完成的。

<log_queries>1log_queries>

大部分的監(jiān)控都是基于system下的query_log,events和metrics等表完成的。

我們也可以自己定制一些個性化的SQL展示出來，在這一點上與Metabase有點相似。

Metabase

安裝

之前筆者也分析過一些關(guān)于metabase的安裝等文章，所以對metabase比較熟悉，在得知其也支持clickhouse時，當然也是趕緊試用一下。除了metabase，業(yè)界使用的最多的是superset工具來做ch的數(shù)據(jù)分析可視化操作。

jar安裝

java -jar metabase.jar

由于metabase默認沒有clickhouse驅(qū)動，我們需要在額外添加該插件，如果你已經(jīng)啟動過metabase，會發(fā)現(xiàn)當前目錄有plugins，將driver放入重啟即可。(注意插件與metabase版本的對應(yīng)關(guān)系，不然會出現(xiàn)一些使用異常，不然會出現(xiàn)如下異常)

No?method?in?multimethod?'connection-details->spec'?for?dispatch?value:?:clickhouse

根據(jù)參考文章中的一些提示可以使用變量指定啟動的端口號等配置：

export?MB_JETTY_PORT=8080

出現(xiàn)如下異常：Distinct, non-empty sequence of Field clauses

這里出現(xiàn)的原因主要是metabase沒有掃描完成我們的庫，因為metabase需要把我們庫中的字段等信息存儲起來，沒有掃描完成自然就沒辦法展示數(shù)據(jù)，筆者使用0.35版本無法掃描完成，更新到0.36版本才正常顯示(若依然不能正常顯示可在管理頁面重新觸發(fā)掃描)。

docker安裝

docker命令：

docker run -d -p 3000:3000 --name metabase metabase/metabase

掛載clickhouse-driver的啟動：

docker run -d -p 3000:3000 \ --mount type=bind,source=/path/to/plugins,destination=/plugins \ --name metabase metabase/metabase123img

配置

添加一個數(shù)據(jù)庫：

一些case

簡單的表test_zookeeper(之前測試使用的表)，結(jié)合官方文檔的測試sql，完成幾個場景的構(gòu)建，建表語句：

CREATE TABLE default.test_zookeeper( `Id` Int32, `Code` Int32, `Type` String) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/default_test_zookeeper', '{replica}') PARTITION BY Code ORDER BY (Id, Code) SETTINGS index_granularity = 8192;12345678

• 求相同code下的最大id趨勢圖

img

• 官方的一些分析

img

首先是當前表的count數(shù)，Code Test Zookeeper為Code出現(xiàn)的次數(shù)圖，Type Test Zookeeper為Type出現(xiàn)的次數(shù)圖。

• 求Code為2020-2021之間出現(xiàn)的條目次數(shù)：

select Code,count(Type) as count from test_zookeeper where Code between 2020 and 2021 group by Code ;1img

• 求Code大于2020，Type中字符出現(xiàn)的次數(shù)的排行：

select Type, count(*) as count from test_zookeeper where Code > 2020 group by Type order by count(*) desc;1img

參考文章

grafana-clickhouse插件: https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource

grafana官方：https://grafana.com/

grafana-clickhouse相關(guān)看板：https://grafana.com/grafana/dashboards?search=clickhouse

ClickHouse datasource for Grafana 4.6+：https://github.com/Vertamedia/clickhouse-grafana

metabase：https://www.metabase.com/ https://downloads.metabase.com/v0.36.0/metabase.jar

metabase掛載clickhouse數(shù)據(jù)源：https://blog.csdn.net/jiangshouzhuang/article/details/103917772

metabase-clickhouse-driver: https://github.com/enqueue/metabase-clickhouse-driver

開源metabase安裝：https://www.jianshu.com/p/2ae75635d237

end

如果您想了解更多有關(guān)深度學習、機器學習、java開發(fā)、大數(shù)據(jù)等知識，歡迎關(guān)注我們的公眾號，我會整理分享關(guān)于這些的有趣文章。

總結(jié)

以上是生活随笔為你收集整理的clickhouse官方文档_clickhouse分析：结合grafana和metabase完成监控和数据分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。