日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 >

flink HA高可用Standalone集群搭建

發(fā)布時間:2025/1/21 46 豆豆
生活随笔 收集整理的這篇文章主要介紹了 flink HA高可用Standalone集群搭建 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

flink 1.9.2版本搭建的HA JM存在bug:
明明在node01, node02兩個節(jié)點上都有JM,但是孰是activing,孰是standby狀態(tài)無法區(qū)分。Spark是有明確的狀態(tài)顯示的。

單獨啟動JM或TM

分別單獨執(zhí)行jobmanager.sh taskmanager.sh即可:

集群角色劃分說明

高可用實現(xiàn)步驟



HDFS用于保存JM的元數(shù)據(jù)信息,flink最擅長的是進(jìn)行有狀態(tài)的計算,因此也就需要對大量數(shù)據(jù)進(jìn)行存儲:


vim masters:
將所有的JM都加進(jìn)來:

要將修改后的配置文件同步到其他節(jié)點:

啟動HA集群

要先啟動HDFS和zk。

要想將flink數(shù)據(jù)保存到hdfs,必須先下載這個插件:并將其放到flink的lib目錄下。每個節(jié)點都要放。

啟動



總結(jié)

以上是生活随笔為你收集整理的flink HA高可用Standalone集群搭建的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。