概述

本文是對[1]的復(fù)現(xiàn)

如果照搬[1]運(yùn)行，會發(fā)現(xiàn)

①沒有報錯

②Clickhouse也沒有數(shù)據(jù)寫入，

提交阿里云工單，扯皮了半天也不愿意幫忙解決

?

今晚吃飯的時候，有了兩個想法:

①會不會是時區(qū)問題(檢查流程后，發(fā)現(xiàn)并不是流寫入，否定了這個猜想)

②SQL比較矯情，不如試試Flink SQL?

?

Flink寫入Clickhouse的方式

根據(jù)[1][2]

?	支持的Flink版本
flink-jdbc	≤1.10.1?
flink-connector-jdbc	≥1.11.0
flink-connector-clickhouse	我只測試了1.11的依賴包 與1.12的集群 混用的情況。

?

環(huán)境

組件	版本
Ubuntu	20.04
Flink(HA)	1.12.0
Zookeeper	3.6.0
Clickhouse	20.4.5.36
依賴包版本 (注意同步到Flink集群各個節(jié)點的$FLINK_HOME/lib下面)	flink-connector-clickhouse-1.11.0.jar

?

流程

?

詳細(xì)實驗步驟

?

操作步驟	操作內(nèi)容	實驗效果
①	準(zhǔn)備好csv	-
②	Flink SQL Client中建立source	-
③	Flink SQL Client中建立sink	-
④	Clickhouse客戶端中建立d_sink_table	-
⑤	Flink SQL Client中 通過insert語句提交任務(wù)到flink集群
⑥	Clickhouse客戶端中查看flink寫入的數(shù)據(jù)

上述表格中的完整操作內(nèi)容如下:

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK讀寫各種數(shù)據(jù)源/寫入ClickHouse/csv_flink_clickhouse.sql

?

注意

①注意關(guān)閉防火墻，iptable/ufw/firewalld我不知道你用的哪種防火墻，請關(guān)掉。

②這個實驗在跑通前，其實我失敗了很多次，根據(jù)Exceptions中的信息來排查即可。

?

Reference:

[1]使用flink-connector-clickhouse寫入ClickHouse

[2]使用JDBC connector寫入ClickHouse

總結(jié)

以上是生活随笔為你收集整理的csv-＞Flink SQL-＞Clickhouse(纯DDL形式)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。