實戰

Azkaba內置的任務類型支持command、java

Command 類型單一 Job 示例

Step 1: 創建 Job 描述文件

創建文本文件，更改名稱為mycommand.job

注意后綴.txt一定不要帶上，保存為格式為UFT-8 without bom

內容如下

type=command command=echo 'hello world'

Step 2: 將job資源文件打包成zip文件

Step 3: 創建project并上傳壓縮包

通過azkaban的web管理平臺創建project并上傳job壓縮包

首先創建project

上傳zip包

Step 4: 啟動執行job

Command 類型多 Job 示例

Step 1: 創建有依賴關系的多個job描述

第一個job：foo.job

type=command command=echo 'foo'

第二個job：bar.job依賴foo.job

type=command command=echo 'bar' dependencies=foo

Step 2: 將所有job資源文件打到一個zip包中

Step 3: 在azkaban的web管理界面創建工程并上傳zip包

Step 4: 啟動工作流flow

HDFS 操作任務

Step 1: 1、創建job描述文件fs.job

type=command command=/export/servers/hadoop‐3.1.1/bin/hdfs dfs ‐mkdir /azkaban

Step 2: 將job資源文件打包成zip文件

Step 3: 通過azkaban的web管理平臺創建project并上傳job壓縮包

Step 4: 啟動執行該job

MapReduce 任務

MR 任務依然可以使用command的job類型來執行

Step 1: 創建job描述文件，及mr程序jar包（示例中直接使用hadoop自帶的examplejar）

type=command command=/export/servers/hadoop‐3.1.1/bin/hadoop jar hadoop‐mapreduceexamples‐ 3.1.1.jar pi 3 5

Step 2: 將所有job資源文件打到一個zip包中

Step 3: 在azkaban的web管理界面創建工程并上傳zip包

Step 4: 啟動job

Hive 腳本任務

Step 1: 創建job描述文件和hive腳本

Hive腳本： hive.sql

create database if not exists azhive; use azhive; create table if not exists aztest(id string,name string) row format delimited fields terminated by '\t';

Step 2: Job描述文件：hive.job

type=command command=/export/servers/apache‐hive‐3.1.1‐bin ‐f 'hive.sql'

Step 3: 將所有job資源文件打到一個zip包中

Step 4: 在azkaban的web管理界面創建工程并上傳zip包

Step 5: 啟動job

Azkaban 的定時任務

使用azkaban的scheduler功能可以實現對我們的作業任務進行定時調度功能

*/1 * ? * * 每分鐘執行一次定時調度任務
0 1 ? * * 每天晚上凌晨一點鐘執行這個任務
0 */2 ? * * 每隔兩個小時定時執行這個任務
30 21 ? * * 每天晚上九點半定時執行這個任務

總結

以上是生活随笔為你收集整理的Azkaban-two_server模式-job任务运行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。