• 目錄
  • 前言：
  • 1、集群部署的基本流程
  • 2、Storm常用操作命令（了解）
  • 3、Storm集群的進(jìn)程及日志熟悉（知道對(duì)應(yīng)的日志的位置出了問(wèn)題知道去哪找原因）
  • 4、Storm源碼目錄分析（重要）
  • 總結(jié)：

目錄

前言：

這里先簡(jiǎn)單說(shuō)一下Storm的安裝的主要步驟，還會(huì)介紹下Storm的常用的操作指令以及各個(gè)進(jìn)程對(duì)應(yīng)的日志信息，之后會(huì)簡(jiǎn)單介紹下Storm的源碼目錄。

1、集群部署的基本流程

集群部署的流程：下載安裝包、解壓安裝包、修改配置文件、分發(fā)安裝包、啟動(dòng)集群（其他集群部署通用的流程）

下載和解壓安裝包在這里就省略，直接進(jìn)入修改配置文件
1.3、修改配置文件
vi /export/servers/storm/conf/storm.yaml
輸入以下內(nèi)容：

#指定storm使用的zk集群 storm.zookeeper.servers:- "shizhan"- "mini2"- "mini3" #指定storm本地狀態(tài)保存地址 storm.local.dir: "/root/apps/storm/workdir" #指定storm集群中的nimbus節(jié)點(diǎn)所在的服務(wù)器 nimbus.host: "shizhan" #指定nimbus啟動(dòng)JVM最大可用內(nèi)存大小 nimbus.childopts: "-Xmx1024m" #指定supervisor啟動(dòng)JVM最大可用內(nèi)存大小 supervisor.childopts: "-Xmx1024m" #指定supervisor節(jié)點(diǎn)上，每個(gè)worker啟動(dòng)JVM最大可用內(nèi)存大小 worker.childopts: "-Xmx768m" #指定ui啟動(dòng)JVM最大可用內(nèi)存大小，ui服務(wù)一般與nimbus同在一個(gè)節(jié)點(diǎn)上。 ui.childopts: "-Xmx768m" #指定supervisor節(jié)點(diǎn)上，啟動(dòng)worker時(shí)對(duì)應(yīng)的端口號(hào)，每個(gè)端口對(duì)應(yīng)槽，每個(gè)槽位對(duì)應(yīng)一個(gè)worker supervisor.slots.ports:- 6700- 6701- 6702- 6703

1.4、分發(fā)安裝包
scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

1.5、啟動(dòng)集群(后臺(tái)啟動(dòng))
在nimbus.host所屬的機(jī)器上啟動(dòng) nimbus服務(wù)
cd /export/servers/storm/bin/
nohup ./storm nimbus &
在nimbus.host所屬的機(jī)器上啟動(dòng)ui服務(wù)
cd /export/servers/storm/bin/
nohup ./storm ui &
在其它個(gè)點(diǎn)擊上啟動(dòng)supervisor服務(wù)
cd /export/servers/storm/bin/
nohup ./storm supervisor &
1.6、查看集群
訪問(wèn)nimbus.host:/8080，即可看到storm的ui界面。

2、Storm常用操作命令（了解）

有許多簡(jiǎn)單且有用的命令可以用來(lái)管理拓?fù)?#xff0c;它們可以提交、殺死、禁用、再平衡拓?fù)洹?/p>

• 提交任務(wù)命令格式：storm jar 【jar路徑】 【拓?fù)浒?拓?fù)漕惷?【拓?fù)涿Q】
  bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
• 殺死任務(wù)命令格式：storm kill 【拓?fù)涿Q】 -w 10（執(zhí)行kill命令時(shí)可以通過(guò)-w [等待秒數(shù)]指定拓?fù)渫Ｓ靡院蟮牡却龝r(shí)間）
  storm kill topology-name -w 10
• 停用任務(wù)命令格式：storm deactivte 【拓?fù)涿Q】
  storm deactivte topology-name
  我們能夠掛起或停用運(yùn)行中的拓?fù)洹．?dāng)停用拓?fù)鋾r(shí)，所有已分發(fā)的元組都會(huì)得到處理，但是spouts的nextTuple方法不會(huì)被調(diào)用。銷毀一個(gè)拓?fù)?#xff0c;可以使用kill命令。它會(huì)以一種安全的方式銷毀一個(gè)拓?fù)?#xff0c;首先停用拓?fù)?#xff0c;在等待拓?fù)湎⒌臅r(shí)間段內(nèi)允許拓?fù)渫瓿僧?dāng)前的數(shù)據(jù)流。

• 啟用任務(wù)命令格式：storm activate【拓?fù)涿Q】
  storm activate topology-name

• 重新部署任務(wù)命令格式：storm rebalance 【拓?fù)涿Q】

  storm rebalance topology-name
  再平衡使你重分配集群任務(wù)。這是個(gè)很強(qiáng)大的命令。比如，你向一個(gè)運(yùn)行中的集群增加了節(jié)點(diǎn)。再平衡命令將會(huì)停用拓?fù)?#xff0c;然后在相應(yīng)超時(shí)時(shí)間之后重分配工人，并重啟拓?fù)洹?/p>

3、Storm集群的進(jìn)程及日志熟悉（知道對(duì)應(yīng)的日志的位置出了問(wèn)題知道去哪找原因）

3.1、部署成功之后，啟動(dòng)storm集群。
依次啟動(dòng)集群的各種角色
3.2、查看nimbus的日志信息
在nimbus的服務(wù)器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log
3.3、查看ui運(yùn)行日志信息
在ui的服務(wù)器上，一般和nimbus一個(gè)服務(wù)器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log
3.4、查看supervisor運(yùn)行日志信息
在supervisor服務(wù)上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log
3.5、查看supervisor上worker運(yùn)行日志信息
在supervisor服務(wù)上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/worker-6702.log

4、Storm源碼目錄分析（重要）

擴(kuò)展包中的三個(gè)項(xiàng)目，使storm能與hbase、hdfs、kafka交互

總結(jié)：

以上的一些知識(shí)只是作為一個(gè)了解，目的為了讓你在以后的工作或?qū)W習(xí)中用到相關(guān)的技能時(shí)，能夠直接上手。

總結(jié)

以上是生活随笔為你收集整理的Storm集群的安装及简单使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。