日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

在线实时大数据平台Storm本地模式运行的一个小发现

發布時間:2025/4/16 编程问答 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 在线实时大数据平台Storm本地模式运行的一个小发现 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、現象:生產中分別部署了兩臺服務器,獨立運行storm,然后拓撲程序提交是本地模式,發現不用啟動storm和zookeeper也可以運行;

#jps ?沒有下面進程
?QuorumPeerMain ?//zookeeper進程
?supervisor ?
?nimbus


2、驗證:在拓撲程序中增加參數傳遞,1代表本地模式,2代表集群模式

? ? ?1)關閉集群后,傳參1運行本地模式成功,傳參2運行集群模式失敗;

? ? ? 2)啟動集群后,傳參2集群模式提交運行,成功;

? ? 本地模式:不用啟動storm和zookeeper集群
? storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 1-C /tmp/glabeling.xml?> /tmp/storm.logs
? ?集群模式:需啟動storm和zookeeper集群
storm jar?/tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 2?-C /tmp/glabeling.xml?> /tmp/storm.logs


3、過程中,對zookeeper作用記錄下:

Storm中使用Zookeeper主要用于Storm集群各節點的分布式協調工作,具體功能如下:
(1)存儲客戶端提供的topology任務信息,nimbus負責將任務分配信息寫入Zookeeper,supervisor從Zookeeper上讀取任務分配信息;
(2)存儲supervisor和worker的心跳(包括它們的狀態),使得nimbus可以監控整個集群的狀態, 從而重啟一些掛掉的worker;
(3)存儲整個集群的所有狀態信息和配置信息。

總結

以上是生活随笔為你收集整理的在线实时大数据平台Storm本地模式运行的一个小发现的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。