CentOS下Storm 1.0.0集群安装详解
本文環(huán)境如下:
操作系統(tǒng):CentOS 6 32位
ZooKeeper版本:3.4.8
Storm版本:1.0.0
JDK版本:1.8.0_77 32位
python版本:2.6.6
集群情況:一個(gè)主控節(jié)點(diǎn)(Master)和兩個(gè)工作節(jié)點(diǎn)(Slave1,Slave2)
1. 搭建Zookeeper集群
安裝參考:CentOS下ZooKeeper單機(jī)模式、集群模式安裝
2. 在Nimbus和worker機(jī)器上安裝依賴(lài)包
Java 6
Python 2.6.6
以上的版本是官方說(shuō)已經(jīng)有測(cè)試可以和Strom正常運(yùn)行的版本,本文采用Java 8進(jìn)行安裝。
參考CentOS 6使用rpm方式安裝JDK8。
由于CentOS 6已經(jīng)自帶Python 2.6.6,這邊就不介紹安裝方法了。可以采用python --version來(lái)檢查服務(wù)器是否安裝python,以及對(duì)應(yīng)的版本。
3. 下載解壓最新版的Storm
打開(kāi)官網(wǎng)下載頁(yè)面:http://storm.apache.org/downloads.html
選擇適合的版本進(jìn)行下載。
4. 修改配置文件
打開(kāi)核心配置文件:storm.yaml
cd /opt/apache-storm-1.0.0/conf vi storm.yaml至少完成以下3處的配置,筆者的配置文件:
storm.zookeeper.servers:- "master" - "slave1" - "slave2" storm.local.dir: "/opt/apache-storm-1.0.0/data"nimbus.seeds: ["master"]其中storm.zookeeper.servers,表示Zookeeper集群地址。如果Zookeeper集群使用的不是默認(rèn)端口,那么還需要配置storm.zookeeper.port。storm.local.dir用于配置Storm存儲(chǔ)少量文件的路徑。nimbus.seeds用于配置主控節(jié)點(diǎn)的地址,可以配置多個(gè)。
5. 拷貝文件到其余主控節(jié)點(diǎn)和工作節(jié)點(diǎn)
scp -r apache-storm-1.0.0 root@slave1:/opt scp -r apache-storm-1.0.0 root@slave2:/opt6. 啟動(dòng)Storm
Storm集群中包含兩類(lèi)節(jié)點(diǎn):主控節(jié)點(diǎn)(Master Node)和工作節(jié)點(diǎn)(Work Node)。其分別對(duì)應(yīng)的角色如下:
主控節(jié)點(diǎn)(Master Node)上運(yùn)行一個(gè)被稱(chēng)為Nimbus的后臺(tái)程序,它負(fù)責(zé)在Storm集群內(nèi)分發(fā)代碼,分配任務(wù)給工作機(jī)器,并且負(fù)責(zé)監(jiān)控集群運(yùn)行狀態(tài)。
每個(gè)工作節(jié)點(diǎn)(Work Node)上運(yùn)行一個(gè)被稱(chēng)為Supervisor的后臺(tái)程序。Supervisor負(fù)責(zé)監(jiān)聽(tīng)從Nimbus分配給它執(zhí)行的任務(wù),據(jù)此啟動(dòng)或停止執(zhí)行任務(wù)的工作進(jìn)程。每一個(gè)工作進(jìn)程執(zhí)行一個(gè)Topology的子集;一個(gè)運(yùn)行中的Topology由分布在不同工作節(jié)點(diǎn)上的多個(gè)工作進(jìn)程組成。
6.1 啟動(dòng)主控節(jié)點(diǎn)
/opt/apache-storm-1.0.0/bin/storm nimbus6.2 啟動(dòng)工作節(jié)點(diǎn)
/opt/apache-storm-1.0.0/bin/storm supervisor6.3 啟動(dòng)管理頁(yè)面
在主控節(jié)點(diǎn)上運(yùn)行
/opt/apache-storm-1.0.0/bin/storm ui說(shuō)明:需要分別到每個(gè)節(jié)點(diǎn)啟動(dòng)服務(wù)。管理界面將運(yùn)行在啟動(dòng)它的服務(wù)器的8080端口,日志文件在程序目錄中l(wèi)ogs文件夾下。上面的啟動(dòng)方式是在前臺(tái)運(yùn)行的,如果需要在后臺(tái)運(yùn)行,可以使用類(lèi)似nohup /opt/apache-storm-1.0.0/bin/storm nimbus &的方式運(yùn)行。
總結(jié)
以上是生活随笔為你收集整理的CentOS下Storm 1.0.0集群安装详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: CentOS下ZooKeeper单机模式
- 下一篇: Leet Code OJ 28. Imp