日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔！

生活随笔

當前位置： 首頁 >

Azkaban安装部署，配置文件配置，启动等

發布時間：2024/9/27 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Azkaban安装部署，配置文件配置，启动等 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1 Azkaban安裝部署

準備工作
Azkaban Web服務器
azkaban-web-server-2.5.0.tar.gz
Azkaban執行服務器
azkaban-executor-server-2.5.0.tar.gz

MySQL數據庫
目前azkaban只支持 mysql,需安裝mysql服務器,本文檔中默認已安裝好mysql服務器,并建立了 root用戶,密碼123456

下載地址:http://azkaban.github.io/downloads.html

安裝
將安裝文件上傳到集群,最好上傳到安裝 hive、sqoop的機器上,方便命令的執行
在當前用戶目錄下新建 azkabantools目錄,用于存放源安裝文件.新建azkaban目錄,用于存放azkaban運行程序

創建目錄：/home/tuzq/software/azkaban，并將安裝文件上傳到該位置

解壓azkaban web服務器安裝
解壓azkaban-web-server-2.5.0.tar.gz

[root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs [root@hadoop1 azkaban]# tar -zxvf azkaban-web-server-2.5.0.tar.gz

解壓azkaban-web-server-2.5.0
將解壓后的azkaban-web-server-2.5.0 移動到 azkaban目錄中,并重新命名 webserver
命令:

[root@hadoop1 azkaban]#cd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# mv azkaban-web-2.5.0 server [root@hadoop1 azkaban]# ls azkaban azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs

azkaban 執行服器安裝
解壓azkaban-executor-server-2.5.0.tar.gz。這里我把它解壓到機器hadoop1上。

[root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz jobs server [root@hadoop1 azkaban]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz將解壓后的azkaban-executor-server-2.5.0重新命名 executor 命令: [root@hadoop1 azkaban]# mv azkaban-executor-2.5.0/ executor

azkaban腳本導入
解壓: azkaban-sql-script-2.5.0.tar.gz，這里我把它解壓到了mysql所在的機器hadoop10上。
命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
將解壓后的mysql 腳本,導入到mysql中:
進入mysql

[root@hadoop10 ~]# mysql -uroot -p123456 mysql> create database azkaban; mysql> use azkaban; Database changed mysql> source /home/tuzq/software/azkaban-sql/create-all-sql-2.5.0.sql;

創建SSL配置
參考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
命令:
位置在：/home/tuzq/software/azkaban

[root@hadoop1 azkaban]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA 運行此命令后,會提示輸入當前生成 keystor的密碼及相應信息,輸入的密碼請勞記,信息如下:輸入keystore密碼： 再次輸入新密碼: 寫成123456 您的名字與姓氏是什么？[Unknown]： 寫成tu 您的組織單位名稱是什么？[Unknown]： 寫成toto 您的組織名稱是什么？[Unknown]： 寫成toto 您所在的城市或區域名稱是什么？[Unknown]： beijing 您所在的州或省份名稱是什么？[Unknown]： beijing 該單位的兩字母國家代碼是什么[Unknown]： CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？[否]： y輸入<jetty>的主密碼（如果和 keystore 密碼相同，按回車）： 再次輸入新密碼: 123456

完成上述工作后,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目錄中.如:

[root@hadoop1 azkaban]# ls azkaban-executor-server-2.5.0.tar.gz azkaban-sql azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz executor jobs keystore server [root@hadoop1 azkaban]# pwd /home/tuzq/software/azkaban [root@hadoop1 azkaban]# cp keystore server/ [root@hadoop1 azkaban]#

配置文件
注：先配置好服務器節點上的時區
1、先生成時區配置文件Asia/Shanghai，用交互式命令 tzselect 即可

[root@hadoop1 azkaban]# tzselect Please identify a location so that time zone rules can be set correctly. Please select a continent or ocean.1) Africa2) Americas3) Antarctica4) Arctic Ocean5) Asia6) Atlantic Ocean7) Australia8) Europe9) Indian Ocean 10) Pacific Ocean 11) none - I want to specify the time zone using the Posix TZ format. #? 5 Please select a country.1) Afghanistan 18) Israel 35) Palestine2) Armenia 19) Japan 36) Philippines3) Azerbaijan 20) Jordan 37) Qatar4) Bahrain 21) Kazakhstan 38) Russia5) Bangladesh 22) Korea (North) 39) Saudi Arabia6) Bhutan 23) Korea (South) 40) Singapore7) Brunei 24) Kuwait 41) Sri Lanka8) Cambodia 25) Kyrgyzstan 42) Syria9) China 26) Laos 43) Taiwan 10) Cyprus 27) Lebanon 44) Tajikistan 11) East Timor 28) Macau 45) Thailand 12) Georgia 29) Malaysia 46) Turkmenistan 13) Hong Kong 30) Mongolia 47) United Arab Emirates 14) India 31) Myanmar (Burma) 48) Uzbekistan 15) Indonesia 32) Nepal 49) Vietnam 16) Iran 33) Oman 50) Yemen 17) Iraq 34) Pakistan #? 9 Please select one of the following time zone regions. 1) Beijing Time 2) Xinjiang Time #? 1The following information has been given:ChinaBeijing TimeTherefore TZ='Asia/Shanghai' will be used. Local time is now: Wed Jun 14 16:18:41 CST 2017. Universal Time is now: Wed Jun 14 08:18:41 UTC 2017. Is the above information OK? 1) Yes 2) No #? Yes Please enter 1 for Yes, or 2 for No. #? 1You can make this change permanent for yourself by appending the lineTZ='Asia/Shanghai'; export TZ to the file '.profile' in your home directory; then log out and log in again.Here is that TZ value again, this time on standard output so that you can use the /usr/bin/tzselect command in shell scripts: Asia/Shanghai [root@hadoop1 azkaban]#

2、拷貝該時區文件，覆蓋系統本地時區配置

[root@hadoop1 azkaban]#cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

azkaban web服務器配置
進入azkaban web服務器安裝目錄 conf目錄

[root@hadoop1 conf]# cd /home/tuzq/software/azkaban/server/conf [root@hadoop1 conf]# ls azkaban.properties azkaban-users.xml

修改azkaban.properties文件
命令

vi azkaban.properties

內容說明如下:

#Azkaban Personalization Settings azkaban.name=Test #服務器UI名稱,用于服務器上方顯示的名字 azkaban.label=My Local Azkaban #描述 azkaban.color=#FF3601 #UI顏色 azkaban.default.servlet.path=/index # web.resource.dir=web/ #默認根web目錄 default.timezone.id=Asia/Shanghai #默認時區,已改為亞洲/上海 默認為美國#Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #用戶權限管理默認類 user.manager.xml.file=conf/azkaban-users.xml #用戶配置,具體配置參加下文#Loader for projects executor.global.properties=conf/global.properties # global配置文件所在位置 azkaban.project.dir=projects #database.type=mysql #數據庫類型 mysql.port=3306 #端口號 mysql.host=hadoop10 #數據庫連接IP mysql.database=azkaban #數據庫實例名 mysql.user=root #數據庫用戶名 mysql.password=123456 #數據庫密碼 mysql.numconnections=100 #最大連接數# Velocity dev mode velocity.dev.mode=false # Jetty服務器屬性. jetty.maxThreads=25 #最大線程數 jetty.ssl.port=8443 #Jetty SSL端口 jetty.port=8081 #Jetty端口 jetty.keystore=keystore #SSL文件名 jetty.password=123456 #SSL文件密碼 jetty.keypassword=123456 #Jetty主密碼 與 keystore文件相同 jetty.truststore=keystore #SSL文件名 jetty.trustpassword=123456 # SSL文件密碼# 執行服務器屬性 executor.port=12321 #執行服務器端口# 郵件設置 mail.sender=xxxxxxxx@163.com #發送郵箱 mail.host=smtp.163.com #發送郵箱smtp地址 mail.user=xxxxxxxx #發送郵件時顯示的名稱 mail.password=********** #郵箱密碼 job.failure.email=xxxxxxxx@163.com #任務失敗時發送郵件的地址 job.success.email=xxxxxxxx@163.com #任務成功時發送郵件的地址 lockdown.create.projects=false # cache.directory=cache #緩存目錄

azkaban 執行服務器配置
[root@hadoop1 conf]# pwd
/home/tuzq/software/azkaban/executor/conf
[root@hadoop1 conf]# ls
azkaban.private.properties azkaban.properties global.properties

進入執行服務器安裝目錄conf,修改azkaban.properties

vi azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #時區# Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置#Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects#數據庫設置 database.type=mysql #數據庫類型(目前只支持mysql) mysql.port=3306 #數據庫端口號 mysql.host=hadoop10 #數據庫IP地址 mysql.database=azkaban #數據庫實例名 mysql.user=root #數據庫用戶名 mysql.password=123456 #數據庫密碼 mysql.numconnections=100 #最大連接數 # 執行服務器配置 executor.maxThreads=50 #最大線程數 executor.port=12321 #端口號(如修改,請與web服務中一致) executor.flow.threads=30 #線程數

用戶配置
進入azkaban web服務器conf目錄,修改azkaban-users.xml

[root@hadoop1 conf]# pwd /home/tuzq/software/azkaban/server/conf [root@hadoop1 conf]# ls azkaban.properties azkaban-users.xml

vi azkaban-users.xml 增加 管理員用戶

<azkaban-users><user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /><user username="metrics" password="metrics" roles="metrics"/><user username="admin" password="admin" roles="admin,metrics" /><role name="admin" permissions="ADMIN" /><role name="metrics" permissions="METRICS"/> </azkaban-users>

啟動
web服務器
在azkaban web服務器目錄下執行啟動命令

[root@hadoop1 server]# pwd /home/tuzq/software/azkaban/server [root@hadoop1 server]# bin/azkaban-web-start.sh

注:在web服務器根目錄運行

執行服務器
在執行服務器目錄下執行啟動命令

[root@hadoop1 ~]# cd /home/tuzq/software/azkaban/executor/ [root@hadoop1 executor]# ls azkaban.version bin conf extlib lib plugins [root@hadoop1 executor]# bin/azkaban-executor-start.sh ./

注:只能要執行服務器根目錄運行

啟動完成后,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務器IP地址:8443 ,即可訪問azkaban服務了.在登錄中輸入剛才新的戶用名及密碼,點擊 login.

輸入admin，admin接著即可登錄到系統中了。

輸入admin,admin。即可登陸進入

總結

以上是生活随笔為你收集整理的Azkaban安装部署，配置文件配置，启动等的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。