當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

flink的savepoint实验-java

發布時間：2023/12/31 编程问答 46 豆豆

生活随笔收集整理的這篇文章主要介紹了 flink的savepoint实验-java 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

首先需要明確的是，savepoint和checkpoint不是同一類，

所以在進行savepoint實驗時，代碼里不需要添加checkpoint enable選項等．

$FLINK_HOME/conf/flink-conf.yaml中添加

state.savepoints.dir: hdfs://Desktop:9000/flink-savepoints

實驗代碼采用[2]

------------------------------------------------------------------------------------------------------------------------

首先注意，這個實驗在真實集群的standalone中進行，而不是local單節偽分布式集群．

步驟	步驟內容
①	啟動Zookeeper,Hadoop,Flink(HA)三種集群(啟動順序不要錯)
② ?	mvn package cd target flink run -c WordCount /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/target/bbb-1.0-SNAPSHOT.jar 得到: Job has been submitted with JobID a5c47eb5cd62ef61f0e0ae66f17aab58
③	flink savepoint a5c47eb5cd62ef61f0e0ae66f17aab58 Savepoint completed. Path: hdfs://Desktop:9000/flink-savepoints/savepoint-a5c47e-bd57d19f884c You can resume your program from this savepoint with the run command.
④	flink cancel a5c47eb5cd62ef61f0e0ae66f17aab58 ? Cancelling job a5c47eb5cd62ef61f0e0ae66f17aab58. Cancelled job a5c47eb5cd62ef61f0e0ae66f17aab58. WEB UI顯示
⑤	flink run -s hdfs://Desktop:9000/flink-savepoints/savepoint-a5c47e-bd57d19f884c ?-c WordCount -d /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/target/bbb-1.0-SNAPSHOT.jar ? Job has been submitted with JobID 00b79db0e9123ebda8dcbb22a8d1e484 ? 通過上述命令恢復以后，會在web ui中看到restore信息被更新 ? 同時，之前Task Managers中的結果依然存在 ? 我們繼續在nc -lk 9999中輸入heiheihei，能不能在上述同一個taskmanager中繼續輸出呢？答案是不能， restore以后的程序在輸出結果時，跑到另外一個taskmanager中去了,所以這點有些不完美

上述流程主要參考了[1]

完整代碼

[1]Flink SavePoint

[2]intellij運行flink的wordcount實驗-Java版本

以上是生活随笔為你收集整理的flink的savepoint实验-java的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。