日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

在线实时大数据平台Storm本地模式运行的一个小发现

發布時間:2025/4/16 42 豆豆
生活随笔 收集整理的這篇文章主要介紹了 在线实时大数据平台Storm本地模式运行的一个小发现 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、現象:生產中分別部署了兩臺服務器,獨立運行storm,然后拓撲程序提交是本地模式,發現不用啟動storm和zookeeper也可以運行;

#jps ?沒有下面進程
?QuorumPeerMain ?//zookeeper進程
?supervisor ?
?nimbus


2、驗證:在拓撲程序中增加參數傳遞,1代表本地模式,2代表集群模式

? ? ?1)關閉集群后,傳參1運行本地模式成功,傳參2運行集群模式失敗;

? ? ? 2)啟動集群后,傳參2集群模式提交運行,成功;

? ? 本地模式:不用啟動storm和zookeeper集群
? storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 1-C /tmp/glabeling.xml?> /tmp/storm.logs
? ?集群模式:需啟動storm和zookeeper集群
storm jar?/tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 2?-C /tmp/glabeling.xml?> /tmp/storm.logs


3、過程中,對zookeeper作用記錄下:

Storm中使用Zookeeper主要用于Storm集群各節點的分布式協調工作,具體功能如下:
(1)存儲客戶端提供的topology任務信息,nimbus負責將任務分配信息寫入Zookeeper,supervisor從Zookeeper上讀取任務分配信息;
(2)存儲supervisor和worker的心跳(包括它們的狀態),使得nimbus可以監控整個集群的狀態, 從而重啟一些掛掉的worker;
(3)存儲整個集群的所有狀態信息和配置信息。

總結

以上是生活随笔為你收集整理的在线实时大数据平台Storm本地模式运行的一个小发现的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。