環境

• Flink 1.8.2
• jdk 1.8
• hadoop 2.8.5

Local模式

在Local模式下僅模擬cluster集群，僅啟動JobManager完成應用的運行。JobManager進程信息如下:
啟動：./bin/start-cluster.sh
停止：./bin/stop-cluster.sh
提交作業方式
./flink run -p 1 ../examples/batch/WordCount.jar
-p表示并行度

Standalone模式

集群安裝

修改conf/flink-conf.yaml: jobmanager.rpc.address: swarm-manager

修改conf/slaves：
swarm-worker1
swarm-worker2

啟動jobmanager：

然后在其他兩個節點上分別啟動集群，然后在瀏覽器中輸入地址http://swarm-manager:8081

Flink On Yarn模式

第一種【yarn-session.sh(開辟資源)+flink run(提交任務)】

創建一個yarn-session，后續提交應用至該session。
該模式下，創建session以后，會啟動一個Yarn applicationMaster和指定數目的Yarn Container。查看ApplicationMaster及Container進程信息可以看出，二者啟動類分別為YarnAPplicationMasterRunner和YarnTaskManager。查看源碼可以看出，本質上ApplicationMaster扮演的是JobManager的角色，Contaienr扮演的是TaskManager的角色，類似于啟動一個Flink的集群。
然后可以通過直接提交應用至該session，由該Session負責運行應用

啟動yarn的ResourceManager，NodeManager：./start-yarn.sh
啟動yarn-session,~/app/flink-1.8.2$ bin/yarn-session.sh -jm 1024m -tm 1024m
控制臺輸出：

提交一個作業
iie4bu@swarm-manager:~/app$ flink run ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
瀏覽器中輸入地址http://swarm-manager:45343這個地址根據實際情況確定，可以看到有一個作業在運行：

這時在yarn中瀏覽器中輸入地址http://swarm-manager:8088，查看

第二種【flink run -m yarn-cluster(開辟資源+提交任務)】

首先按照上面第一種方式，先把yarn-session.sh進程關閉。
提交作業
~/app$ flink run -m yarn-cluster -yn 1 ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
其中-m yarn-cluster表示使用yarn集群，-yn 1表示taskmanager的數量。

總結

以上是生活随笔為你收集整理的Flink三种运行模式安装部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。