1 問題描述

在使用Clickhouse(21.3.4.25)進(jìn)行大數(shù)據(jù)量地數(shù)據(jù)查詢，高頻報出 SQLException : Read timed out 錯誤

2 問題分析

2.1 單次查詢：耗時約4s

2.2 并發(fā)20查詢：報SQLException Read timeout，并發(fā)5查詢：正常

2.3 整個SQL ：查詢業(yè)務(wù)邏輯復(fù)雜（多層嵌套、Join、200余行）

2.4 整個Query SQL 的查詢基表：基于1個36億級（6W Inner Join 6W）的視圖表

2.x 問題結(jié)論及優(yōu)化方向

• 根本原因：

• SQL邏輯和所消耗的資源較高，達(dá)到了CK數(shù)據(jù)庫的資源、性能瓶頸。（Clickhouse本身也不支持高并發(fā)查詢，官網(wǎng)/最佳實踐的建議：單表查詢，盡可能減少join、最高單表并發(fā)100）

• 個人優(yōu)化建議：

• 1、優(yōu)化SQL（可結(jié)合物化視圖，如果擔(dān)心統(tǒng)計不準(zhǔn)(大部分情況下，誤差概率極低、較小)，可先主動執(zhí)行 optimze table {table} final 指令做合并，再執(zhí)行 Query SQL）
• 2、嘗試調(diào)整連接參數(shù)（如：?socket_timeout=600000，能一定程度上減少此類報錯）

由于數(shù)據(jù)量過大，查詢請求太久，導(dǎo)致clickhouse連接超時。
建議在clickhouse連接字符串后面加上參數(shù)：`?socket_timeout=600000`再驗證
socket_timeout的單位是ms，可以根據(jù)實際情況更改大小。

X 參考文獻(xiàn)

• clickhouse

• https://github.com/ClickHouse/ClickHouse
• https://clickhouse.com/docs

• Clickhouse, read timed out 錯誤 - Smart BI

總結(jié)

以上是生活随笔為你收集整理的[Clickhouse] Clickhouse 报SQLException : Read timed out的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。