參數傳遞是調度字體工作流運行時非常重要的一部分，工作流的執行，單個作業的執行，多個工作流之間的依賴執行，歷史任務重算，都涉及到參數傳遞和同步。

1 參數類型綜述

azkaban的工作流中的參數可以分為如下幾個類型：

Azkaban UI 頁面輸入參數

環境變量參數

job作業文件中定義的參數

工作流的用戶定義的屬性文件，上游作業傳遞給下游的參數

工作流運行時產生的系統參數

job的common參數

參數類型與其對應的參數范圍如下：

參數類型

作用域

UI 頁面輸入參數 ，即工作流參數

flow全局有效

工作流ZIP壓縮包中的屬性文件(.properties結尾)

flow全局有效,zip文件目錄以及子目錄有效

工作流運行時參數

flow全局有效

環境變量參數

flow全局有效

job的common參數

job內局部有效

JOB文件中定義的參數

job內局部有效

上游作業傳遞給下游的參數

job內局部有效

2.?job?參數簡介commom參數

除了type,command,dependencies三個參數外，還有如下一些保留參數可以為每個job配置

參數

說明

retries

失敗的job的自動重試的次數

retry.backoff

重試的間隔(毫秒)

working.dir

指定命令被調用的目錄。默認的working目錄是executions/${execution_ID}目錄

env.property

指定在命令執行前需設置的環境變量。Property定義環境變量的名稱，因此 env.VAR_NAME=VALUE就創建了一個$VAR_NAME環境變量，并且指定了它的VALUE

failure.emails

job失敗時發送的郵箱,用逗號隔開

success.emails

job成功時發送的郵箱,用逗號隔開

notify.emails

job成功或失敗都發送的郵箱，用逗號隔開

一個flow的email屬性，只會取最后一個job的配置，其他的job的email配置將會被忽略。

3. job之間的參數傳遞

先看官網的描述：

Parameter Passing

There is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on the jobtype that is run, but usually Azkaban writes these parameters to a temporary file that is readable by the job.

The path of the file is set in JOB_PROP_FILE environment variable. The format is the same key value pair property files. Certain built-in job types do this automatically for you. The java type, for instance, will invoke your Runnable and given a proper constructor, Azkaban can pass parameters to your code automatically.

Parameter Output

Properties can be exported to be passed to its dependencies. A second environment variable JOB_OUTPUT_PROP_FILE is set by Azkaban. If a job writes a file to that path, Azkaban will read this file and then pass the output to the next jobs in the flow.

The output file should be in json format. Certain built-in job types can handle this automatically, such as the java type.

意思是：JOB_OUTPUT_PROP_FILE和JOB_PROP_FILE都是一個環境變量，指向文件路徑。

參數傳入:

上游節點把需要輸出的值以json的格式寫入JOB_OUTPUT_PROP_FILE文件，azkaban以job執行過程中，上游job傳遞進來的臨時參數，運行時參數，項目中配置文件的參數，job定義中參數等 都保存在 ${JOB_PROP_FILE}文件中，保存格式為key=value。執行job的中shell命令時，可以作為參數傳遞。

參數傳出：

一個azkaban job執行結束，可以將一些參數寫入到${JOB_OUTPUT_PROP_FILE}文件 中，azkaban會將這些參數傳遞到下游依賴的的job的參數文件${JOB_PROP_FILE}文件中，供下游job引用。寫入到${JOB_OUTPUT_PROP_FILE}文件中參數需要是json格式的，否則會報json解析錯。下游節點就可以在JOB_PROP_FILE中看到key-value形式的輸出，用${key}的方式使用變量。

舉例：

baseflow.flow

#baseflow.flow

nodes:

- name: jobB

type: command

dependsOn:

- jobA

config:

command: sh commandB.sh "${firstName}"

- name: jobA

type: command

config:

command: sh commandA.sh

commandA.sh

#!/bin/bashecho '{ "firstName":"John" , "lastName":"Doe" }' >> ${JOB_OUTPUT_PROP_FILE}

commandB.sh

#!/bin/bashcat ${JOB_PROP_FILE} >> /root/azkaban.txtecho $1 >> /root/azkaban.txt

jobB依賴JobA，jobA執行完成后，會一串json內容到${JOB_OUTPUT_PROP_FILE}指向的文件中，JobA執行完成后，jobB才可以執行，等job執行時，會將jobA輸出的內容寫入到/root/azkaban.txt,并追加參數中的firstName寫入到文件中，注意第一個參數只能通過shell調用的方式來傳遞。

4 job參數之runtime屬性

runtime屬性是在job運行期間自動被添加的

參數

說明

azkaban.job.attempt

job重試次數，從0開始增加

azkaban.job.id

運行的job name

azkaban.flow.flowid

運行的job的flow name

azkaban.flow.execid

flow的執行id

azkaban.flow.projectid

工程id

azkaban.flow.projectversion

project上傳的版本

azkaban.flow.uuid

flow uuid

azkaban.flow.start.timestamp

flow start的時間戳

azkaban.flow.start.year

flow start的年份

azkaban.flow.start.month

flow start 的月份

azkaban.flow.start.day

flow start 的天

azkaban.flow.start.hour

flow start的小時

azkaban.flow.start.minute

start 分鐘

azkaban.flow.start.second

start 秒

azkaban.flow.start.millseconds

start的毫秒

azkaban.flow.start.timezone

start 的時區

5 job參數之參數繼承

后綴為.properties的文件將會作為參數文件加載，并且為flow中每個job所共享，屬性文件通過目錄分層結構繼承。

比如，在zip包中有以下結構

system.properties

baz.job

myflow/myflow.properties

myflow/myflow2.properties

myflow/foo.job

myflow/bar.job

system.properties是全局的屬性，將會被baz.job和myflow目錄下的foo.job和bar.job使用，但是baz.job不會繼承myflow.properties和myflow2.properties的屬性，因為是它的下層.

6 job參數之參數替換

azkaban支持參數替換；替換參數樣式： azkaban會替換{}中的參數。無論${parameterName} 在job file中或者在參數文件中或者運行時參數發現，都可以被替換為對應的值。

shared.properties

# shared.properties

replaceparameter=bar

myjob.job

# myjob.job

param1=mytest

foo=${replaceparameter} #${replaceparameter}會替換為bar

param2=${param1} # ${param1} 會被替換成mytest。

前面這個例子，在myjob 作業運行前，foo 會被賦值為bar , param2會被賦值為mytest.

注意：參數名不能有空格，標點符號等。

7 shell動態傳參

azkaban中的shell 作業，如何接收從webUI傳遞的參數？

7.1?UI頁面輸入參數定義

ui_test=test111111111

7.2?在job文件myjob.job指定

##作業定義文件UI輸入參數接收：

job_param4=${ui_test}

##作業定義文件腳本命令行引用UI輸入參數：sh test_azkaban_job.sh "${job_param4}"

7.3?shell test_azkaban_job.sh 的內容

vim ?test_azkaban_job.sh

echo "inputparamter:$1" #接收job文件中傳遞的參數。

FAQ1：在頁面手動執行前面的job時，如果UI參數ui_test在job執行沒有輸入，會執行失敗。異常信息如下：

hello ERROR - Failed to build job executor for job hello Could not find variable substitution for variable(s) [param4->ui_test ]

在定時調度任務指定時，需要指定工作流參數flowParameters ：ui_test，避免該錯誤。

7.4 shell中使用參數的注意事項

在UI頁面重新輸入運行時參數時，可以覆蓋系統默認生成的參數值。運行時參數，和UI輸入的參數，都可以認為是全局參數，在整個工作流的作業配置中，都可以通過 ${參數名} 的方式引用使用。

在shell 中直接引用 公共參數，運行時系統參數，UI輸入參數，是無效的。

在shell中只能直接使用環境變量；

公共參數，運行時系統參數，UI輸入參數能只通過shell的腳本參數的方式傳遞進來。

job文件中定義的環境變量參數，可以在shell腳本中直接引用，但只對當前job有效。

8 reference

總結

以上是生活随笔為你收集整理的azkaban mysql参数_azkaban参数详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。