生活随笔
收集整理的這篇文章主要介紹了
CDH6.3.0 HUE 整合 Oozie调度
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
由于oozie的xml配置執行各種任務調度是在太過于繁瑣，所有一般都使用hue整合oozie來使用
通過hue對oozie進行配置，所以首先保證hue中 time_zone為Asia/Shanghai
cloudera oozie默認時區是UTC，缺點就是在開發oozie任務時必須在期望執行的時間上減去8小時，因此很不推薦這樣做。
因此需要修改時區的配置操作：oozie-site.xml 的 Oozie Server 高級配置代碼段（安全閥）
<property>?
?? ?<name>oozie.processing.timezone</name>
?? ?<value>GMT+0800</value>
</property> |
| 例子為每天定時添加指定分區，分區為動態傳參傳入，和腳本類似，參數取值用${}包圍 ?? ?use?數據庫名; ?? ?CREATE?TABLE?if?NOT?EXISTS?dw_serv_checi_query_day ( ?? ?user_id ? ? ? ? ??string, ?? ?railway_no ? ? ? ?string, ?? ?start_station ? ??string? ?? ?) PARTITIONED?BY?(dt?STRING)ROW?FORMAT?DELIMITED?FIELDS?TERMINATED?BY?'\t'?STORED?AS?TEXTFILE; ?? ?ALTER?TABLE?dw_serv_checi_query_day ?ADD?PARTITION?(dt = ${partdt}); ?? ?insert?into?dw_serv_checi_query_day?partition(dt='20190101')?values('1','2','3');
保存為addpart.sql，上傳hdfs
|
選擇剛才創建的workflows，選擇定時時間，可以選擇每日，每周，每月等等，選擇任務有效期，最后要給出參數的值，
這里的值是代表前一天的日期，oozie有一些內置的常量。保存提交，OK，定時任務完成了。
-
oozie常用的系統常量 -
常量表示形式?? ??? ??? ??? ??? ??? ?含義說明 -
${coord:minutes(int?n)}?? ??? ??? ??? ?返回日期時間：從一開始，周期執行n分鐘 -
${coord:hours(int?n)}?? ??? ??? ??? ?返回日期時間：從一開始，周期執行n *?60分鐘 -
${coord:days(int?n)}?? ??? ??? ??? ?返回日期時間：從一開始，周期執行n *?24?*?60分鐘 -
${coord:months(int?n)}?? ??? ??? ??? ?返回日期時間：從一開始，周期執行n * M *?24?*?60分鐘（M表示一個月的天數） -
${coord:endOfDays(int?n)}?? ??? ??? ??? ?返回日期時間：從當天的最晚時間（即下一天）開始，周期執行n *?24?*?60分鐘 -
${coord:endOfMonths(1)}?? ??? ??? ??? ?返回日期時間：從當月的最晚時間開始（即下個月初），周期執行n *?24?*?60分鐘 -
${coord:current(int?n)}?? ??? ??? ??? ?返回日期時間：從一個Coordinator動作（Action）創建時開始計算，第n個dataset實例執行時間 -
${coord:dataIn(String?name)}?? ??? ??? ?在輸入事件（input-events）中，解析dataset實例包含的所有的URI -
${coord:dataOut(String?name)}?? ??? ??? ?在輸出事件（output-events）中，解析dataset實例包含的所有的URI -
${coord:offset(int?n,?String?timeUnit)}?? ??? ?表示時間偏移，如果一個Coordinator動作創建時間為T，n為正數表示向時刻T之后偏移，n為負數向向時刻T之前偏移， -
?? ??? ??? ??? ??? ??? ?timeUnit表示時間單位（選項有MINUTE、HOUR、DAY、MONTH、YEAR） -
${coord:hoursInDay(int?n)}?? ??? ??? ??? ?指定的第n天的小時數，n>0表示向后數第n天的小時數，n=0表示當天小時數，n<0表示向前數第n天的小時數 -
${coord:daysInMonth(int?n)}?? ??? ??? ?指定的第n個月的天數，n>0表示向后數第n個月的天數，n=0表示當月的天數，n<0表示向前數第n個月的天數 -
${coord:tzOffset()}?? ??? ??? ??? ?ataset對應的時區與Coordinator Job的時區所差的分鐘數 -
${coord:latest(int?n)}?? ??? ??? ??? ?最近以來，當前可以用的第n個dataset實例 -
${coord:future(int?n,?int?limit)}?? ??? ??? ?當前時間之后的dataset實例，n>=0，當n=0時表示立即可用的dataset實例，limit表示dataset實例的個數 -
${coord:nominalTime()}?? ??? ??? ??? ?nominal時間等于Coordinator Job啟動時間，加上多個Coordinator Job的頻率所得到的日期時間。 -
?? ??? ??? ??? ??? ??? ?例如：start=”2009-01-01T24:00Z”，end=”2009-12-31T24:00Z”，frequency=”${coord:days(1)}”， -
?? ??? ??? ??? ??? ??? ? ? ? ?frequency=”${coord:days(1)}，則nominal時間為：2009-01-02T00:00Z、2009-01-03T00:00Z、2009-01-04T00:00Z、…、 -
?? ??? ??? ??? ??? ??? ? ? ? ?2010-01-01T00:00Z -
${coord:actualTime()}?? ??? ??? ??? ?Coordinator動作的實際創建時間。例如：start=”2011-05-01T24:00Z”，end=”2011-12-31T24:00Z”， -
?? ??? ??? ??? ??? ??? ?frequency=”${coord:days(1)}”，則實際時間為：2011-05-01，2011-05-02，2011-05-03，…，2011-12-31 -
${coord:user()}?? ??? ??? ??? ??? ??? ??? ?啟動當前Coordinator Job的用戶名稱 -
${coord:dateOffset(String?baseDate,?int?instance,?String?timeUnit)}?? ?計算新的日期時間的公式：newDate = baseDate + instance * timeUnit， -
?? ??? ??? ??? ??? ??? ??? ??? ?如：baseDate=’2009-01-01T00:00Z’，instance=’2′，timeUnit=’MONTH’， -
?? ??? ??? ??? ??? ??? ??? ??? ?則計算得到的新的日期時間為’2009-03-01T00:00Z’。 -
${coord:formatTime(String?timeStamp,?String?format)}?? ??? ??? ?格式化時間字符串，format指定模式
|
beeline -u jdbc:hive2://node1:10000 -n root
use 數據庫名;
select * from dw_serv_checi_query_day;
此處因為使用的默認數據庫default，因此創建的表直接就存儲在/user/hive/warehouse路徑下
連續多個sql腳本按順序定時執行
總結
以上是生活随笔為你收集整理的CDH6.3.0 HUE 整合 Oozie调度的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。
