概述

本文主要是對[7]中內容的復現

環境

組件	版本
Flink(HA)	1.12
Zookeeper	3.6.0
flink-sql-connector-mysql-cdc	1.1.1
Mysql	8.0.22-0ubuntu0.20.04.2

?

實驗流程圖

Mysql的同步配置

/etc/mysql/mysql.conf.d/mysqld.cnf中的[mysqld]下面添加:

# 前面還有其他配置 # 添加的部分 server-id = 12345 log-bin = mysql-bin # 必須為ROW binlog_format = ROW # 必須為FULL，MySQL-5.7后才有該參數 binlog_row_image = FULL expire_logs_days = 10

查看binlog默認配置:

SHOW VARIABLES LIKE '%binlog%';

service mysql restart

創建用于同步的用戶，并給予權限（可供參考的文檔）

-- 設置擁有同步權限的用戶 CREATE USER 'appleyuchi' IDENTIFIED BY 'appleyuchi'; -- 賦予同步相關權限 GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'appleyuchi';

創建用戶并賦予權限成功后，使用該用戶登錄MySQL，可以使用以下命令查看主從同步相關信息

SHOW MASTER STATUS; SHOW SLAVE STATUS; SHOW BINARY LOGS;

?

詳細操作步驟

操作內容	效果
Mysql建立表格	?
Mysql插入數據
Flink SQL Client建立Source	?
Flink SQL Client建立Sink	?
mysql_binlog的數據插入到tb_sink
查看當前Flink集羣的taskmanager中的數據
更新Mysql以後，再次查看Flink集羣的taskmanager中的數據

上述表格中各個步驟需要的SQL匯總如下:

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK讀寫各種數據源/cdc.sql

?

這裏需要注意，如果本實驗的source中的mysql的IP是一個外網IP,那麼需要確保mysql所在節點可以被外網訪問，

否則會無法順利提交任務到集羣．上述鏈接中使用的localhost,沒有該問題

?

實驗結論

當Mysql中修改數據以後，我們會發現Flink集羣任務中的Task Manager的Stdout也會立刻做出修改．

因此CDC的同步功能順利實現

CDC其實就是類似于一個金山同步盤一樣的功能，上游的數據改動后，同步到下游．

?

依賴問題

https://maven.aliyun.com/mvn/search

搜索flink-sql-connector-mysql-cdc-1.1.1.jar

然后放到$FLINK_HOME/lib下面，然后同步到集群的其他節點

?

異常

Caused by: java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed

如果集羣兩個節點Desktop和Laptop

此時Laptop無法登錄Desktop的mysql就會導致Flink集羣發生這種異常報錯

此時下述兩個解決辦法取其一即可:

①讓Desktop中的mysql支持外網訪問

②source中的mysql的IP從原本的Desktop改成localhost

?

Reference:

[1]Flink SQL Client + Mysql CDC 部署實踐(yaml格式)

[2]關于flink:Flink-SQL-Client-Mysql-CDC-部署實踐(yaml格式)

[3]Flink SQL CDC(涉及ElasticSearch的)

[4]Flink SQL CDC 上線！我們總結了 13 條生產實踐經驗(提到維度表Join和雙流Join不一樣)

[5]Flink1.11中的CDC Connectors操作實踐(非常詳細)

[6]基于 Flink SQL CDC的實時數據同步方案(沒啥用,講了一系列的場景和架構)

[7]Flink示例——Flink-CDC(DDL嵌入到代碼中的形式)

[8]Mysql binlog詳解(詳細介紹)

總結

以上是生活随笔為你收集整理的Flink SQL Client实现CDC实验的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。