Storm UI
2019獨角獸企業重金招聘Python工程師標準>>>
本文主要解釋下storm ui上各項屬性的含義。
1. mainpage
??? 首頁主要分為3塊:
??? a. Cluster Summary
??? Nimbus uptime: nimbus的啟動時間
??? Supervisors: storm集群中supervisor的數目
??? used slots: 使用了的slots數
??? free slots: 剩余的slots數
??? total slots: 總的slots數
????Running tasks:?運行的任務數
??? b.?topology summary
??? Name: topology name
??? id: topology id (由storm生成)
??? status: topology的狀態，包括(ACTIVE, INACTIVE, KILLED, REBALANCING)
??? uptime: topology運行的時間
??? num workers:?運行的workers數
????num tasks:?運行的task數
??? c. supervisor summary
? ? host: supervisor(主機)的主機名
??? uptime: supervisor啟動的時間
??? slots: supervisor的端口數
??? used slots:?使用的端口數
?
?2.?topologypage
?? topology頁面主要包括4個部分
?? a. topology summary(同主頁)
?? b. topology stats
?? window:?時間窗口，顯示10m、3h、1d和all time的運行狀況
???emitted: emitted tuple數
?? transferred: transferred tuple數, 說下與emitted的區別：如果一個task，emitted一個tuple到2個task中，則
?????????????????????? transferred tuple數是emitted tuple數的兩倍
???complete latency: spout emitting 一個tuple到spout ack這個tuple的平均時間
?? acked: ack tuple數
?? failed: 失敗的tuple數
?? c. spouts
?? id: spout id
?? parallelism: 任務數
?? last error: 最近的錯誤數，只顯示最近的前200個錯誤
?? emitted, transferred, complete latency, acked和failed上面已解釋
?? d. bolts
?? process latency:?? bolt收到一個tuple到bolt?ack這個tuple的平均時間
以下是從storm的config類中搜集的所有storm支持的配置項(Based storm 0.6.0):
配置項配置說明
storm.zookeeper.serversZooKeeper ? ?服務器列表
storm.zookeeper.portZooKeeper連接端口
storm.local.dirstorm????使用的本地文件系統目錄(必須存在并且storm進程可讀寫)
storm.cluster.modeStorm????集群運行模式([distributed|local])
storm.local.mode.zmqLocal模式下是否使用ZeroMQ作消息系統，如果設置為false則使用java消息系統。默認為false
storm.zookeeper.rootZooKeeper中Storm的根目錄位置
storm.zookeeper.session.timeout客戶端連接ZooKeeper超時時間
storm.id運行中拓撲的id,由storm name和一個唯一隨機數組成。
nimbus.hostnimbus服務器地址
nimbus.thrift.portnimbus的thrift監聽端口
nimbus.childopts通過storm-deploy項目部署時指定給nimbus進程的jvm選項
nimbus.task.timeout.secs心跳超時時間，超時后nimbus會認為task死掉并重分配給另一個地址。
nimbus.monitor.freq.secsnimbus檢查心跳和重分配任務的時間間隔.注意如果是機器宕掉nimbus會立即接管并處理。
nimbus.supervisor.timeout.secssupervisor的心跳超時時間,一旦超過nimbus會認為該supervisor已死并停止為它分發新任務.
nimbus.task.launch.secs ????task啟動時的一個特殊超時設置.在啟動后第一次心跳前會使用該值來臨時替代????????
????????????????????????????????????????????????nimbus.task.timeout.secs.
nimbus.reassign當發現task失敗時nimbus是否重新分配執行。默認為真，不建議修改。
nimbus.file.copy.expiration.secsnimbus判斷上傳/下載鏈接的超時時間，當空閑時間超過該設定時nimbus會認為鏈接死掉并主動斷開
ui.portStorm UI的服務端口
drpc.serversDRPC服務器列表，以便DRPCSpout知道和誰通訊
drpc.portStorm DRPC的服務端口
supervisor.slots.portssupervisor上能夠運行workers的端口列表.每個worker占用一個端口,且每個端口只運行一個
????????????????????????????????????????worker.通過這項配置可以調整每臺機器上運行的worker數.(調整slot數/每機)
supervisor.childopts在storm-deploy項目中使用,用來配置supervisor守護進程的jvm選項
supervisor.worker.timeout.secssupervisor中的worker心跳超時時間,一旦超時supervisor會嘗試重啟worker進程.
supervisor.worker.start.timeout.secssupervisor初始啟動時，worker的心跳超時時間，當超過該時間supervisor會嘗試重啟worker。因為JVM初始啟動和配置會帶來的額外消耗，從而使得第一次心跳會超過supervisor.worker.timeout.secs的設定
supervisor.enablesupervisor是否應當運行分配給他的workers.默認為true,該選項用來進行Storm的單元測試,一般不應修改.
supervisor.heartbeat.frequency.secssupervisor心跳發送頻率(多久發送一次)
supervisor.monitor.frequency.secssupervisor????檢查worker心跳的頻率
worker.childoptssupervisor啟動worker時使用的jvm選項.所有的”%ID%”字串會被替換為對應worker的標識符
worker.heartbeat.frequency.secsworker的心跳發送時間間隔
task.heartbeat.frequency.secstask????匯報狀態心跳時間間隔
task.refresh.poll.secstask與其他tasks之間鏈接同步的頻率.(如果task被重分配,其他tasks向它發送消息需要刷新連接).一般來講，重分配發生時其他tasks會理解得到通知。該配置僅僅為了防止未通知的情況。
topology.debug如果設置成true，Storm將記錄發射的每條信息。
topology.optimizemaster是否在合適時機通過在單個線程內運行多個task以達到優化topologies的目的.
topology.workers執行該topology集群中應當啟動的進程數量.每個進程內部將以線程方式執行一定數目的tasks.topology的組件結合該參數和并行度提示來優化性能
topology.ackerstopology中啟動的acker任務數.Acker保存由spout發送的tuples的記錄，并探測tuple何時被完全處理.當Acker探測到tuple被處理完畢時會向spout發送確認信息.通常應當根據topology的吞吐量來確定acker的數目，但一般不需要太多.當設置為0時,相當于禁用了消息可靠性,storm會在spout發送tuples后立即進行確認.
topology.message.timeout.secstopology中spout發送消息的最大處理超時時間.如果一條消息在該時間窗口內未被成功ack,Storm會告知spout這條消息失敗。而部分spout實現了失敗消息重播功能。
topology.kryo.register注冊到Kryo(Storm底層的序列化框架)的序列化方案列表.序列化方案可以是一個類名,或者是com.esotericsoftware.kryo.Serializer的實現.
topology.skip.missing.kryo.registrationsStorm是否應該跳過它不能識別的kryo序列化方案.如果設置為否task可能會裝載失敗或者在運行時拋出錯誤.
topology.max.task.parallelism ????????在一個topology中能夠允許的最大組件并行度.該項配置主要用在本地模式中測試線程數限制.
topology.max.spout.pending ????????一個spout task中處于pending狀態的最大的tuples數量.該配置應用于單個task,而不是整個spouts或topology.
topology.state.synchronization.timeout.secs ????????組件同步狀態源的最大超時時間(保留選項,暫未使用)
topology.stats.sample.rate用來產生task統計信息的tuples抽樣百分比
topology.fall.back.on.java.serializationtopology中是否使用java的序列化方案
zmq.threads每個worker進程內zeromq通訊用到的線程數
zmq.linger.millis當連接關閉時,鏈接嘗試重新發送消息到目標主機的持續時長.這是一個不常用的高級選項,基本上可以忽略.
java.library.pathJVM啟動(如Nimbus,Supervisor和workers)時的java.library.path設置.該選項告訴JVM在哪些路徑下定位本地庫.
轉載于:https://my.oschina.net/u/2300159/blog/371880
總結
- 上一篇： 域名商2014年度报告:中国数据域名总量
- 下一篇： Azure 中国篇之计算服务—多个站点的