一．平臺環境介紹:

1．系統信息：

項目

信息

系統版本:

Ubuntu14.04.2 LTS \n \l

用戶：

*****

密碼：

******

Java環境：

openjdk-7-jre

語言：

en_US.UTF-8，en_US:en

磁盤：

每臺vda為系統盤(50G),vdb為數據盤(200G)掛載于/storage目錄hcloud15最為DB，第二塊磁盤為2000G

主機范圍：

192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18(11臺)

主機名：

以IP地址為準，依次為hcloud07~hcloud18

2．服務組件分布：

服務名稱

分布主機

Zookeeper

hcloud12,hcloud13,hcloud14

Kafka

hcloud07,hcloud08

Jstorm

hcloud09,hcloud10,hcloud11

Memcached

hcloud13,hcloud14

Mysql

hcloud15

Web-UI

hcloud17

二．平臺環境配置:

三．Zookeeper配置:

1.安裝主程序及需要的組件：

apt-get?install??-y?libzookeeper-java?libzookeeper-mt2?zookeeper?zookeeperd

2.修改配置文件：

2.1．zookeeper主配置文件

vim?/etc/zookeeper/conf/zoo.cfg

##修改數據目錄

dataDir=/storage/lib/zookeeper

##所有zookeeper主機

server.1=hcloud12:2888:3888

server.2=hcloud13:2888:3888

server.3=hcloud14:2888:3888

##

2.2 做啟動前準備

mkdir?-p/storage/lib/zookeeper

cd?/storage/lib/zookeeper

ln?-s/etc/zookeeper/conf/myid????myid

vim?myid

##填入zookeeper主機的編號，第一臺是若是1,依次往后類推

1

##

3.測試啟動及定義自動啟動：

3.1測試啟動

invoke-rc.d?zookeeper?start

#正常情況下會啟動成功，若失敗請根據失敗信息查找原因，或查看日志

tail?-f/var/log/zookeeper/zookeeper.lo

3.2隨機自動啟動

update-rc.dzookeeper?defaults

四．Jstorm配置:

下載解壓主程序包

cd?/srv

wget?http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz

tar?zxfjstorm-2.0.4-SNAPSHOT.tar.gz

2.修改配置文件

vim??conf/storm.yaml

##注意縮進，加入zookeeper主機的IP地址，和jstorm監聽的端口

storm.zookeeper.servers:

-?"192.168.21.12"

-?"192.168.21.13"

-?"192.168.21.14"

supervisor.slots.ports:

-?6800

-?6801

-?6802

-?6803

-?6804

-?6805

-?6806

-?6807

##Nimbus和Supervisor節點配置文件相同

3.測試啟動及定義自動啟動：

3.1測試啟動

3.1.1在nimbus節點上執行：

nohup?jstorm?nimbus?&

查看$JSTORM_HOME/logs/nimbus.log檢查有無錯誤

3.1.2在supervisor節點上執行

nohup?jstorm?supervisor?&

查看$JSTORM_HOME/logs/supervisor.log檢查有無錯誤

3.2隨機自動啟動

3.2.1Nimbus節點

vim?/srv/jstorm/StartNimbus.sh

##加入環境變量，和啟動命令

exportJSTORM_HOME=/srv/jstorm

export?PATH=$PATH:$JSTORM_HOME/bin

nohup?$JSTORM_HOME/bin/jstorm?nimbus?>$JSTORM_HOME/StartNimbus.log?&

##

chmod??+x?/srv/jstorm/StartNimbus.sh

vim/etc/rc.local

##添加以下一行，開機就會自動執行StartNimbus.sh腳本啟動jstorm

/srv/jstorm/StartNimbus.sh

##

3.2.2Supervisor節點

vim?/srv/jstorm/StartSupervisor.sh

##加入環境變量，和啟動命令

export?JSTORM_HOME=/srv/jstorm

exportPATH=$PATH:$JSTORM_HOME/bin

nohup$JSTORM_HOME/bin/jstorm?supervisor?>?$JSTORM_HOME/StartSupervisor.log?&

chmod??+x?/srv/jstorm/StartSupervisor.sh

vim/etc/rc.local

##添加一下一行

/srv/jstorm/StartSupervisor.sh

##

五．Kafka配置:

1.下載解壓主程序包

cd??/srv

wget?http://www.eu.apache.org/dist//kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz

tar?zxf??kafka_2.9.2-0.8.2.1.tgz

2.修改配置文件

cdkafka_2.9.2-0.8.2.1/

vim?config/server.properties

##

broker.id=1????#第二個節點依次類推

log.retention.hours=48

zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181

##填入zookeeper的主機的IP

3.測試啟動及自動啟動

vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh

##原理同Jstorm一樣

exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1

nohup$KAFKA_HOME/bin/kafka-server-start.sh?$KAFKA_HOME/config/server.properties?\\

>$KAFKA_HOME/StartKafka.log?&

##

chmod??+x?/etc/init.d/StartKafka.sh

vim?/etc/rc.loca

##添加一行

/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh

##

六．Memcached配置:

1.安裝主程序

vim?/etc/memcached.conf

##將以下行注釋

#?-l?127.0.0.1

##

2.啟動以及自動啟動

啟動：invoke-rc.d??memcached?start

隨機自動啟動：update-rc.d??memcacheddefaults

七．Mysql配置：

1.安裝主程序

apt-get?instlal?mysql-server-5.5

##安裝過程需要輸入mysql密碼

2.修改配置文件

2.1.修改數據庫的data路徑(mysql的默認data路徑在/var/lib/mysql目錄下)

invoke-rc.d?mysql??stop

mkdir?-p?/storage/lib/mysql

chown?-Rmysql:mysql??/storage/lib

cp?-pR??/var/lib/mysql??/storage/lib/

vim?/etc/apparmor.d/usr.sbin.mysqld

##做如下修改，注意末尾逗號

#??/var/lib/mysql/?r,

#??/var/lib/mysql/**?rwk,

/storage/lib/mysql/r,

/storage/lib/mysql/**?rwk,

##

2.2.修改主配文件

vim?/etc/my?????sql/my.cnf

##做如下修改：

#datadir????????????????=?/var/lib/mysql

datadir?????????=/storage/lib/mysql

##

3.啟動和自啟動

3.1.啟動

/etc/init.d/apparmor?restart

invoke-rc.d?mysql??start

3.2自啟動

update-rc.d?mysql?defaults

八．Jstorm，Zookeeper的Web-UI配置：

1.Jstorm-Web-UI

安裝tomcat部署Web-UI程序

apt-get??install?tomcat7?�y

cd/usr/share/tomcat7/

mkdir??-p??.jstorm

##復制jstorm主機的配置文件到/usr/share/tomcat7/.jstorm/目錄下

cp-f?$JSTORM_HOME/conf/storm.yaml?~/.jstorm/

cd?/srv

wget?http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz

tar?zxfjstorm-2.0.4-SNAPSHOT.tar.gz

cd/var/lib/tomcat7/webapps

cp?/srv/jstorm/jstorm-ui-0.9.6.2.war??./

mv?ROOT?ROOT.old

ln?-sjstorm-ui-2.0.4-SNAPSHOT?ROOT

2.Zookeeper-Web-UI

2.1. 下載

3.jstorm 與Apache 整合

3.1Apache加載ajp模塊

Apache2.2 以上可以使用ajp方式，簡單方便；

執行以下命令查看Apache已經加載的模塊：

apachectl -t -D DUMP_MODULES

執行以下命令加載proxy_ajp 模塊：

a2enmod? proxy_ajp

可以使用查看命令查看已開啟的模塊：

apachectl -t -D DUMP_MODULES

3.2配置Apache 虛擬目錄：

vim?/etc/apache2/sites-enabled/js.conf

##

ServerName?localhost

DocumentRoot"/var/lib/tomcat7/webapps/"

ProxyRequests?Off

ProxyPreserveHost?On

Order?Deny,Allow

Deny?from?all

Allow?from?all

ProxyPass?/jstorm??ajp://localhost:8009/

ProxyPassReverse?/jstorm??ajp://localhost:8009/

##

3.3配置tomcat

vim?/etc/tomcat7/server.xml

#將下行注釋取消

3.4參考鏈接

https://confluence.atlassian.com/jira/configuring-apache-reverse-proxy-using-the-ajp-protocol-183468775.html

http://chirag.bodar.in/configure-apache-httpd-24-with-tomcat-7x-on-ubuntu-1204-1304-and-1404

總結

以上是生活随笔為你收集整理的jstorm 读取mysql_zookeeper，kafka，jstorm，memcached，mysql流式数据处理平台部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。