flink HA高可用Standalone集群搭建
生活随笔
收集整理的這篇文章主要介紹了
flink HA高可用Standalone集群搭建
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
flink 1.9.2版本搭建的HA JM存在bug:
明明在node01, node02兩個節點上都有JM,但是孰是activing,孰是standby狀態無法區分。Spark是有明確的狀態顯示的。
單獨啟動JM或TM
分別單獨執行jobmanager.sh taskmanager.sh即可:
集群角色劃分說明
高可用實現步驟
HDFS用于保存JM的元數據信息,flink最擅長的是進行有狀態的計算,因此也就需要對大量數據進行存儲:
vim masters:
將所有的JM都加進來:
要將修改后的配置文件同步到其他節點:
啟動HA集群
要先啟動HDFS和zk。
要想將flink數據保存到hdfs,必須先下載這個插件:并將其放到flink的lib目錄下。每個節點都要放。
啟動
總結
以上是生活随笔為你收集整理的flink HA高可用Standalone集群搭建的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: flink scala shell命令行
- 下一篇: flink on yarn两种提交模式