1 Azkaban安裝部署

準(zhǔn)備工作
Azkaban Web服務(wù)器
azkaban-web-server-2.5.0.tar.gz
Azkaban執(zhí)行服務(wù)器
azkaban-executor-server-2.5.0.tar.gz

MySQL數(shù)據(jù)庫(kù)
目前azkaban只支持 mysql,需安裝mysql服務(wù)器,本文檔中默認(rèn)已安裝好mysql服務(wù)器,并建立了 root用戶,密碼123456

下載地址:http://azkaban.github.io/downloads.html

安裝
將安裝文件上傳到集群,最好上傳到安裝 hive、sqoop的機(jī)器上,方便命令的執(zhí)行
在當(dāng)前用戶目錄下新建 azkabantools目錄,用于存放源安裝文件.新建azkaban目錄,用于存放azkaban運(yùn)行程序

創(chuàng)建目錄：/home/tuzq/software/azkaban，并將安裝文件上傳到該位置

解壓azkaban web服務(wù)器安裝
解壓azkaban-web-server-2.5.0.tar.gz

[root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs [root@hadoop1 azkaban]# tar -zxvf azkaban-web-server-2.5.0.tar.gz

解壓azkaban-web-server-2.5.0
將解壓后的azkaban-web-server-2.5.0 移動(dòng)到 azkaban目錄中,并重新命名 webserver
命令:

[root@hadoop1 azkaban]#cd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# mv azkaban-web-2.5.0 server [root@hadoop1 azkaban]# ls azkaban azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs

azkaban 執(zhí)行服器安裝
解壓azkaban-executor-server-2.5.0.tar.gz。這里我把它解壓到機(jī)器hadoop1上。

[root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs server [root@hadoop1 azkaban]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz將解壓后的azkaban-executor-server-2.5.0重新命名 executor 命令: [root@hadoop1 azkaban]# mv azkaban-executor-2.5.0/ executor

azkaban腳本導(dǎo)入
解壓: azkaban-sql-script-2.5.0.tar.gz，這里我把它解壓到了mysql所在的機(jī)器hadoop10上。
命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
將解壓后的mysql 腳本,導(dǎo)入到mysql中:
進(jìn)入mysql

[root@hadoop10 ~]# mysql -uroot -p123456 mysql> create database azkaban; mysql> use azkaban; Database changed mysql> source /home/tuzq/software/azkaban-sql/create-all-sql-2.5.0.sql;

創(chuàng)建SSL配置
參考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
命令:
位置在：/home/tuzq/software/azkaban

[root@hadoop1 azkaban]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA 運(yùn)行此命令后,會(huì)提示輸入當(dāng)前生成 keystor的密碼及相應(yīng)信息,輸入的密碼請(qǐng)勞記,信息如下:輸入keystore密碼： 再次輸入新密碼: 寫成123456 您的名字與姓氏是什么？[Unknown]： 寫成tu 您的組織單位名稱是什么？[Unknown]： 寫成toto 您的組織名稱是什么？[Unknown]： 寫成toto 您所在的城市或區(qū)域名稱是什么？[Unknown]： beijing 您所在的州或省份名稱是什么？[Unknown]： beijing 該單位的兩字母國(guó)家代碼是什么[Unknown]： CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？[否]： y輸入<jetty>的主密碼（如果和 keystore 密碼相同，按回車）： 再次輸入新密碼: 123456

完成上述工作后,將在當(dāng)前目錄生成 keystore 證書(shū)文件,將keystore 考貝到 azkaban web服務(wù)器根目錄中.如:

[root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz executor jobs keystore server [root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# cp keystore server/ [root@hadoop1 azkaban]#

配置文件
注：先配置好服務(wù)器節(jié)點(diǎn)上的時(shí)區(qū)
1、先生成時(shí)區(qū)配置文件Asia/Shanghai，用交互式命令 tzselect 即可

[root@hadoop1 azkaban]# tzselect Please identify a location so that time zone rules can be set correctly. Please select a continent or ocean.1) Africa2) Americas3) Antarctica4) Arctic Ocean5) Asia6) Atlantic Ocean7) Australia8) Europe9) Indian Ocean 10) Pacific Ocean 11) none - I want to specify the time zone using the Posix TZ format. #? 5 Please select a country.1) Afghanistan 18) Israel 35) Palestine2) Armenia 19) Japan 36) Philippines3) Azerbaijan 20) Jordan 37) Qatar4) Bahrain 21) Kazakhstan 38) Russia5) Bangladesh 22) Korea (North) 39) Saudi Arabia6) Bhutan 23) Korea (South) 40) Singapore7) Brunei 24) Kuwait 41) Sri Lanka8) Cambodia 25) Kyrgyzstan 42) Syria9) China 26) Laos 43) Taiwan 10) Cyprus 27) Lebanon 44) Tajikistan 11) East Timor 28) Macau 45) Thailand 12) Georgia 29) Malaysia 46) Turkmenistan 13) Hong Kong 30) Mongolia 47) United Arab Emirates 14) India 31) Myanmar (Burma) 48) Uzbekistan 15) Indonesia 32) Nepal 49) Vietnam 16) Iran 33) Oman 50) Yemen 17) Iraq 34) Pakistan #? 9 Please select one of the following time zone regions. 1) Beijing Time 2) Xinjiang Time #? 1The following information has been given:ChinaBeijing TimeTherefore TZ='Asia/Shanghai' will be used. Local time is now: Wed Jun 14 16:18:41 CST 2017. Universal Time is now: Wed Jun 14 08:18:41 UTC 2017. Is the above information OK? 1) Yes 2) No #? Yes Please enter 1 for Yes, or 2 for No. #? 1You can make this change permanent for yourself by appending the lineTZ='Asia/Shanghai'; export TZ to the file '.profile' in your home directory; then log out and log in again.Here is that TZ value again, this time on standard output so that you can use the /usr/bin/tzselect command in shell scripts: Asia/Shanghai [root@hadoop1 azkaban]#

2、拷貝該時(shí)區(qū)文件，覆蓋系統(tǒng)本地時(shí)區(qū)配置

[root@hadoop1 azkaban]#cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

azkaban web服務(wù)器配置
進(jìn)入azkaban web服務(wù)器安裝目錄 conf目錄

[root@hadoop1 conf]# cd /home/tuzq/software/azkaban/server/conf [root@hadoop1 conf]# ls azkaban.properties azkaban-users.xml

修改azkaban.properties文件
命令

vi azkaban.properties

內(nèi)容說(shuō)明如下:

#Azkaban Personalization Settings azkaban.name=Test #服務(wù)器UI名稱,用于服務(wù)器上方顯示的名字 azkaban.label=My Local Azkaban #描述 azkaban.color=#FF3601 #UI顏色 azkaban.default.servlet.path=/index # web.resource.dir=web/ #默認(rèn)根web目錄 default.timezone.id=Asia/Shanghai #默認(rèn)時(shí)區(qū),已改為亞洲/上海 默認(rèn)為美國(guó)#Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #用戶權(quán)限管理默認(rèn)類 user.manager.xml.file=conf/azkaban-users.xml #用戶配置,具體配置參加下文#Loader for projects executor.global.properties=conf/global.properties # global配置文件所在位置 azkaban.project.dir=projects #database.type=mysql #數(shù)據(jù)庫(kù)類型 mysql.port=3306 #端口號(hào) mysql.host=hadoop10 #數(shù)據(jù)庫(kù)連接IP mysql.database=azkaban #數(shù)據(jù)庫(kù)實(shí)例名 mysql.user=root #數(shù)據(jù)庫(kù)用戶名 mysql.password=123456 #數(shù)據(jù)庫(kù)密碼 mysql.numconnections=100 #最大連接數(shù)# Velocity dev mode velocity.dev.mode=false # Jetty服務(wù)器屬性. jetty.maxThreads=25 #最大線程數(shù) jetty.ssl.port=8443 #Jetty SSL端口 jetty.port=8081 #Jetty端口 jetty.keystore=keystore #SSL文件名 jetty.password=123456 #SSL文件密碼 jetty.keypassword=123456 #Jetty主密碼 與 keystore文件相同 jetty.truststore=keystore #SSL文件名 jetty.trustpassword=123456 # SSL文件密碼# 執(zhí)行服務(wù)器屬性 executor.port=12321 #執(zhí)行服務(wù)器端口# 郵件設(shè)置 mail.sender=xxxxxxxx@163.com #發(fā)送郵箱 mail.host=smtp.163.com #發(fā)送郵箱smtp地址 mail.user=xxxxxxxx #發(fā)送郵件時(shí)顯示的名稱 mail.password=********** #郵箱密碼 job.failure.email=xxxxxxxx@163.com #任務(wù)失敗時(shí)發(fā)送郵件的地址 job.success.email=xxxxxxxx@163.com #任務(wù)成功時(shí)發(fā)送郵件的地址 lockdown.create.projects=false # cache.directory=cache #緩存目錄

azkaban 執(zhí)行服務(wù)器配置
[root@hadoop1 conf]# pwd
/home/tuzq/software/azkaban/executor/conf
[root@hadoop1 conf]# ls
azkaban.private.properties azkaban.properties global.properties

進(jìn)入執(zhí)行服務(wù)器安裝目錄conf,修改azkaban.properties

vi azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #時(shí)區(qū)# Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置#Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects#數(shù)據(jù)庫(kù)設(shè)置 database.type=mysql #數(shù)據(jù)庫(kù)類型(目前只支持mysql) mysql.port=3306 #數(shù)據(jù)庫(kù)端口號(hào) mysql.host=hadoop10 #數(shù)據(jù)庫(kù)IP地址 mysql.database=azkaban #數(shù)據(jù)庫(kù)實(shí)例名 mysql.user=root #數(shù)據(jù)庫(kù)用戶名 mysql.password=123456 #數(shù)據(jù)庫(kù)密碼 mysql.numconnections=100 #最大連接數(shù) # 執(zhí)行服務(wù)器配置 executor.maxThreads=50 #最大線程數(shù) executor.port=12321 #端口號(hào)(如修改,請(qǐng)與web服務(wù)中一致) executor.flow.threads=30 #線程數(shù)

用戶配置
進(jìn)入azkaban web服務(wù)器conf目錄,修改azkaban-users.xml

[root@hadoop1 conf]# pwd /home/tuzq/software/azkaban/server/conf [root@hadoop1 conf]# ls azkaban.properties azkaban-users.xml

vi azkaban-users.xml 增加 管理員用戶

<azkaban-users><user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /><user username="metrics" password="metrics" roles="metrics"/><user username="admin" password="admin" roles="admin,metrics" /><role name="admin" permissions="ADMIN" /><role name="metrics" permissions="METRICS"/> </azkaban-users>

啟動(dòng)
web服務(wù)器
在azkaban web服務(wù)器目錄下執(zhí)行啟動(dòng)命令

[root@hadoop1 server]# pwd /home/tuzq/software/azkaban/server [root@hadoop1 server]# bin/azkaban-web-start.sh

注:在web服務(wù)器根目錄運(yùn)行

執(zhí)行服務(wù)器
在執(zhí)行服務(wù)器目錄下執(zhí)行啟動(dòng)命令

[root@hadoop1 ~]# cd /home/tuzq/software/azkaban/executor/ [root@hadoop1 executor]# ls azkaban.version bin conf extlib lib plugins [root@hadoop1 executor]# bin/azkaban-executor-start.sh ./

注:只能要執(zhí)行服務(wù)器根目錄運(yùn)行

啟動(dòng)完成后,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務(wù)器IP地址:8443 ,即可訪問(wèn)azkaban服務(wù)了.在登錄中輸入剛才新的戶用名及密碼,點(diǎn)擊 login.

輸入admin，admin接著即可登錄到系統(tǒng)中了。

輸入admin,admin。即可登陸進(jìn)入

總結(jié)

以上是生活随笔為你收集整理的Azkaban安装部署，配置文件配置，启动等的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。