日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【Storm篇】--Storm并发机制

發(fā)布時(shí)間:2025/3/18 编程问答 42 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【Storm篇】--Storm并发机制 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

一、前述

為了提高Storm的并行能力,通常需要設(shè)置并行。

二、具體原理

1. Storm并行分為幾個(gè)方面:

Worker – 進(jìn)程
一個(gè)Topology拓?fù)鋾?huì)包含一個(gè)或多個(gè)Worker(每個(gè)Worker進(jìn)程只能從屬于一個(gè)特定的Topology)
這些Worker進(jìn)程會(huì)并行跑在集群中不同的服務(wù)器上,即一個(gè)Topology拓?fù)淦鋵?shí)是由并行運(yùn)行在Storm集群中多臺(tái)服務(wù)器上的進(jìn)程所組成

Executor – 線程
Executor是由Worker進(jìn)程中生成的一個(gè)線程
每個(gè)Worker進(jìn)程中會(huì)運(yùn)行拓?fù)洚?dāng)中的一個(gè)或多個(gè)Executor線程
一個(gè)Executor線程中可以執(zhí)行一個(gè)或多個(gè)Task任務(wù)(默認(rèn)每個(gè)Executor只執(zhí)行一個(gè)Task任務(wù)),但是這些Task任務(wù)都是對(duì)應(yīng)著同一個(gè)組件(Spout、Bolt)。

Task
實(shí)際執(zhí)行數(shù)據(jù)處理的最小單元
每個(gè)task即為一個(gè)Spout或者一個(gè)Bolt

注意:

Task數(shù)量在整個(gè)Topology生命周期中保持不變,Executor數(shù)量可以變化或手動(dòng)調(diào)整
(默認(rèn)情況下,Task數(shù)量和Executor是相同的,即每個(gè)Executor線程中默認(rèn)運(yùn)行一個(gè)Task任務(wù))


2.在程序中具體設(shè)置:

設(shè)置Worker進(jìn)程數(shù)
Config.setNumWorkers(int workers)

設(shè)置Executor線程數(shù)
TopologyBuilder.setSpout(String id, IRichSpout spout, Number parallelism_hint)
TopologyBuilder.setBolt(String id, IRichBolt bolt, Number parallelism_hint)
:其中, parallelism_hint即為executor線程數(shù)

設(shè)置Task數(shù)量
ComponentConfigurationDeclarer.setNumTasks(Number val)

例:
Config conf = new Config() ;
conf.setNumWorkers(2);//設(shè)置worker數(shù)

TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("spout", new MySpout(), 1);//設(shè)置線程數(shù)
topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
?????????????? .setNumTasks(4)//設(shè)置總共的task數(shù)這個(gè)Bolt任務(wù)的
?????????????? .shuffleGrouping("blue-spout);

3.案例詳解

?

4.Rebalance – 再平衡
即,動(dòng)態(tài)調(diào)整Topology拓?fù)涞腤orker進(jìn)程數(shù)量、以及Executor線程數(shù)量

支持兩種調(diào)整方式:
1、通過Storm UI
2、通過Storm CLI(一般用這個(gè)!!!)

通過Storm CLI動(dòng)態(tài)調(diào)整:
例:storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10
將mytopology拓?fù)鋡orker進(jìn)程數(shù)量調(diào)整為5個(gè)
“ blue-spout ” 所使用的線程數(shù)量調(diào)整為3個(gè)
“ yellow-bolt ”所使用的線程數(shù)量調(diào)整為10個(gè)

PS:當(dāng)調(diào)整的task或者worker進(jìn)程超過集群配置時(shí),還是按集群最大配置運(yùn)行。

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/LHWorldBlog/p/8353278.html

總結(jié)

以上是生活随笔為你收集整理的【Storm篇】--Storm并发机制的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。