工作流數(shù)據(jù)

Hue的任務(wù)是基于工作流的調(diào)度，我們創(chuàng)建一個(gè)包含 Hive script 腳本的工作流，其中具體腳本內(nèi)容如下所示：

create database if not exists hive_db; show databases; use hive_db; show tables; create table if not exists hive_test (a int, b string); show tables; insert into hive_test select 1, "test"; select * from hive_test;

將上面腳本內(nèi)容保存到hive_test.sql腳本文件中，并上傳到hdfs目錄/tmp/目錄下;另外Hive工作流還需要一個(gè)hive-site.xml?配置文件，此配置文件路徑在：/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下，同時(shí)將改配置文件上傳到hdfs目錄/tmp/目錄下。

創(chuàng)建工作流

1.在Hue頁面的上方，選擇Workflow，具體如下圖所示。

2.在工作流編輯頁面中拖一個(gè) Hive Script。

3.選擇上傳到hdfs上的hive_test.sql腳本文件和hive-site.xml?配置文件。

4.單擊?Add?后，還需在?FILES?中指定?hive script?文件。

5.單擊右上角保存，然后單擊執(zhí)行，運(yùn)行 workflow。

創(chuàng)建定時(shí)任務(wù)

Hue是支持定時(shí)任務(wù)調(diào)度的，有點(diǎn)類似于crontab執(zhí)行命令，該定時(shí)任務(wù)支持的調(diào)度粒度可以到分鐘級(jí)別。

1.在Hue頁面的上方，選擇Schedule，具體如下圖所示。

2.選擇一個(gè)創(chuàng)建好的工作流，然后選擇需要調(diào)度的時(shí)間、時(shí)間間隔、時(shí)區(qū)、調(diào)度任務(wù)的開始時(shí)間及結(jié)束時(shí)間，然后單擊保存和執(zhí)行，具體如下所示。

3.最后在Workflows、Schedulers 的監(jiān)控頁面可以查看任務(wù)調(diào)度執(zhí)行情況。

下一篇：MapReduce簡(jiǎn)介

總結(jié)

以上是生活随笔為你收集整理的Oozie 任务调度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。