目錄

Flink安裝部署

Local本地模式

原理

操作

測試

---

Flink安裝部署

Flink支持多種安裝模式

• - Local—本地單機模式，學習測試時使用
• - Standalone—獨立集群模式，Flink自帶集群，開發測試環境使用
• - StandaloneHA—獨立集群高可用模式，Flink自帶集群，開發測試環境使用
• - On Yarn—計算資源統一由Hadoop YARN管理，生產環境使用

?

Local本地模式

原理

?

?

1. Flink程序由JobClient進行提交
2. JobClient將作業提交給JobManager
3. JobManager負責協調資源分配和作業執行。資源分配完成后，任務將提交給相應的TaskManager
4. TaskManager啟動一個線程以開始執行。TaskManager會向JobManager報告狀態更改,如開始執行，正在進行或已完成。
5. 作業執行完成后，結果將發送回客戶端(JobClient)

?

操作

1.下載安裝包

https://archive.apache.org/dist/flink/

2.上傳flink-1.12.0-bin-scala_2.12.tgz到node1的指定目錄

3.解壓

tar -zxvf flink-1.12.0-bin-scala_2.12.tgz?

4.如果出現權限問題，需要修改權限

chown -R root:root /export/server/flink-1.12.0

5.改名或創建軟鏈接

mv flink-1.12.0 flinkln -s /export/server/flink-1.12.0?/export/server/flink

?

測試

1.準備文件/root/words.txt

vim /root/words.txt

hello me you herhello me youhello mehello

?

2.啟動Flink本地“集群”

/export/server/flink/bin/start-cluster.sh

?

3.使用jps可以查看到下面兩個進程

• TaskManagerRunner
• StandaloneSessionClusterEntrypoint

?

4.訪問Flink的Web UI

http://node1:8081/#/overview

?

?

5.執行官方示例

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar --input /root/words.txt?--output /root/out

?

6.停止Flink

/export/server/flink/bin/stop-cluster.sh

?

啟動shell交互式窗口(目前所有Scala 2.12版本的安裝包暫時都不支持 Scala Shell)

/export/server/flink/bin/start-scala-shell.sh local

?

執行如下命令

benv.readTextFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()

?

退出shell

:quit

總結

以上是生活随笔為你收集整理的2021年大数据Flink（三）：​​​​​​​Flink安装部署 Local本地模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。