azkaban安裝 Solo Server

azkaban 3.57.0 編譯
1、下載源碼包 官網(wǎng)地址為:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz
清空編譯
結(jié)果如下：

[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local [root@hadoop01 home]# cd ./azkaban-3.57.0 [root@hadoop01 azkaban-3.57.0]# ./gradlew clean

編譯并安裝插件

結(jié)果如下：速度可能很慢！！！（我的一個(gè)小時(shí)）

root@hadoop01 azkaban-3.57.0]# ./gradlew installDist

編譯但不運(yùn)行測試

root@hadoop01 home]# ./gradlew build -x test

編譯結(jié)果如下：

編譯成功后，在目錄下{azkaban-solo-server、azkaban-web-server、azkaban-execserver}/build/distributions目錄下都會(huì)生成相應(yīng)的壓縮包

[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-execserver/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0 [root@hadoop01 azkaban-3.57.0]# cp ./azkaban-soloserver/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0 [root@hadoop01 azkaban-3.57.0]# cp ./azkaban-webserver/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0 [root@hadoop01 azkaban-3.57.0]# cp ./azkaban-db/build/distributions/azkaban-db0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0 編譯過程中，如有錯(cuò)誤，需要再次運(yùn)行編譯命令。 編譯過程中，如果包不能下載，則可以考慮手動(dòng)下載放到服務(wù)器對(duì)應(yīng)的位置即可。

Solo Server安裝

1、Solo Server簡介
這種Solo Server服務(wù)是azkaban的單機(jī)版，即是單實(shí)例，它安裝簡單，便于學(xué)習(xí)。他的優(yōu)點(diǎn)如下： 安裝簡單:不需要msql實(shí)例，它內(nèi)置h2來做存儲(chǔ)。 啟動(dòng)簡單：web server和executor server都運(yùn)行在相同進(jìn)程中。 功能齊全：它包含所有azkaban的特征。你可以使用azkaban用這種通用方法并為其安裝插件。

2、安裝

[root@hadoop01 azkaban3.57.0]# mkdir /usr/local/azkaban [root@hadoop01 azkaban3.57.0]# tar -zxvf /usr/local/azkaban3.57.0/azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz -C /usr/local/azkaban [root@hadoop01 azkaban3.57.0]# cd /usr/local/azkaban/ [root@hadoop01 azkaban]# mv ./azkaban-solo-server-0.1.0-SNAPSHOT/ ./soloserver [root@hadoop01 azkaban]# cd ./soloserver/

3、配置用戶

[root@hadoop01 soloserver]# vi ./conf/azkaban-users.xml 在第4行添加內(nèi)容如下： <user password="admin" roles="metrics,admin" username="admin"/>

soloserver的安裝配置完成。

測試
啟動(dòng)(注意在soloserver的目錄下啟動(dòng))，如果服務(wù)未啟動(dòng)，可在啟動(dòng)目錄下查看日志信息

[root@hadoop01 soloserver]# ./bin/start-solo.sh

2、測試啟動(dòng)是否成功
瀏覽器訪問http://hadoop01:8081/:
點(diǎn)擊登錄如下：user:admin p:admin

3.創(chuàng)建項(xiàng)目

4、停止服務(wù)

[root@hadoop01 soloserver]#./bin/shutdown-solo.sh

azkaban的command job案例

1、創(chuàng)建job(一定要注意編碼！！)

type=command command=echo 'hello_azkaban'

2、將job打包zip并上傳

3、運(yùn)行job
然后exexute—>continue.即可執(zhí)行。

4、查看結(jié)果

Azkanban的shell腳本調(diào)度案例

1、創(chuàng)建一個(gè)shell文件(注意編碼)

文件名azshell.sh，內(nèi)容如下: #!/bin/bash echo hello_azkaban >> /home/log/az.log

2、創(chuàng)建job(注意編碼)

type=command command=/bin/bash azshell.s

3、打包job(一定要將azshell.sh和azshell.job打包進(jìn)來)

4、上傳壓縮包并執(zhí)行
查看結(jié)果

azkaban的mapreduce的案

1、創(chuàng)建job(注意編碼)

type=command command=/usr/local/hadoop-2.7.1/bin/yarn jar hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out/az00

2、將job打包zip并上傳
3、運(yùn)行
4、查看結(jié)果

azkabn的依賴案例

1、創(chuàng)建jobB(注意編碼)

#!/bin/bash echo hello_bbb >/home/log/b.log sleep 66s type=command command=/bin/bash b.sh

2、創(chuàng)建jobA,并且jobA依賴jobB(注意編碼)

#!/bin/bash echo hello_aaa >/home/log/a.log type=command dependencies=jobB command=/bin/bash a.sh

將job打包zip并上傳

[外鏈圖片轉(zhuǎn)存失敗(img-JVGWnSao-1569415366425)(1569415311472.png)]
3、運(yùn)行job
然后exexute—>continue.即可執(zhí)行。
4、查看結(jié)果

總結(jié)

以上是生活随笔為你收集整理的azkaban安装Solo Server的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。