日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

storm topology优化思路是什么

發布時間:2024/1/3 综合教程 25 生活家
生活随笔 收集整理的這篇文章主要介紹了 storm topology优化思路是什么 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本篇內容主要講解“storm topology優化思路是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“storm topology優化思路是什么”吧!

先假設一種環境,三臺機器,cpu core 4,net KM 網

topology

componentnameexecutor latency(ms)spouts-boltA0.5boltB0.1boltC0.5boltD1.0boltE0.2

executor代表數據進入bolt execute方法執行的時間,storm通過采樣獲得,采樣在總數上肯定會有誤差,但平均數我們暫且認為其一定,這就相當于在1W個1中隨機選擇一個,怎么選都是1,所以暫且我們假設executor latency可信,最后我們通過實際效率反過來再驗證我們的假設

假定,我們以一種參數提交了topology,運行后ui查看參數如表格,我們觀察發現,A,C 兩個bolt延遲在0.5ms,B bolt延遲在0.1ms,D bolt延遲在1.0ms,E bolt延遲在0.2ms,所以可以認為性能:B=2E=5A=5C=10D,所以我們提高整個topology的效率可以調整各bolt的并行度,我們設B的并行度為X,可以得出 X+2X+5X*2+10X=All executor,如果在某個bolt中有阻塞情況,我們可以再額外提高一些并行度,該環境中三臺機器,最大并行度為3*4=12,X》=1,所以X=1,由此可得出,B bolt并行度為1,所以每秒處理效率大概=1000/0.1*1=1W

另外在storm中每個worker有個線程池,池大小默認為core數,我們可以根據情況提高池大小,提高cpu利用率

其它參數這里不提了,根據實際情況可以酌情調整

到此,相信大家對“storm topology優化思路是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!

總結

以上是生活随笔為你收集整理的storm topology优化思路是什么的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。