http://tech.it168.com/a2011/0818/1234/000001234580.shtml

什么是Oozie?

　　Oozie是一種Java Web應(yīng)用程序，它運行在Java servlet容器——即Tomcat——中，并使用數(shù)據(jù)庫來存儲以下內(nèi)容：

　　●工作流定義

　　●當(dāng)前運行的工作流實例，包括實例的狀態(tài)和變量

　　Oozie工作流是放置在控制依賴DAG(有向無環(huán)圖 Direct Acyclic Graph)中的一組動作(例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等)，其中指定了動作執(zhí)行的順序。我們會使用hPDL(一種XML流程定義語言)來描述這個圖。

　　hPDL是一種很簡潔的語言，只會使用少數(shù)流程控制和動作節(jié)點?？刂乒?jié)點會定義執(zhí)行的流程，并包含工作流的起點和終點(start、end和fail節(jié)點)以及控制工作流執(zhí)行路徑的機制(decision、fork和join節(jié)點)。動作節(jié)點是一些機制，通過它們工作流會觸發(fā)執(zhí)行計算或者處理任務(wù)。Oozie為以下類型的動作提供支持： Hadoop map-reduce、Hadoop文件系統(tǒng)、Pig、Java和Oozie的子工作流(SSH動作已經(jīng)從Oozie schema 0.2之后的版本中移除了)。

　　所有由動作節(jié)點觸發(fā)的計算和處理任務(wù)都不在Oozie之中——它們是由Hadoop的Map/Reduce框架執(zhí)行的。這種方法讓Oozie可以支持現(xiàn)存的Hadoop用于負載平衡、災(zāi)難恢復(fù)的機制。這些任務(wù)主要是異步執(zhí)行的(只有文件系統(tǒng)動作例外，它是同步處理的)。這意味著對于大多數(shù)工作流動作觸發(fā)的計算或處理任務(wù)的類型來說，在工作流操作轉(zhuǎn)換到工作流的下一個節(jié)點之前都需要等待，直到計算或處理任務(wù)結(jié)束了之后才能夠繼續(xù)。Oozie可以通過兩種不同的方式來檢測計算或處理任務(wù)是否完成，也就是回調(diào)和輪詢。當(dāng)Oozie啟動了計算或處理任務(wù)的時候，它會為任務(wù)提供唯一的回調(diào)URL，然后任務(wù)會在完成的時候發(fā)送通知給特定的URL。在任務(wù)無法觸發(fā)回調(diào)URL的情況下(可能是因為任何原因，比方說網(wǎng)絡(luò)閃斷)，或者當(dāng)任務(wù)的類型無法在完成時觸發(fā)回調(diào)URL的時候，Oozie有一種機制，可以對計算或處理任務(wù)進行輪詢，從而保證能夠完成任務(wù)。

　　Oozie工作流可以參數(shù)化(在工作流定義中使用像${inputDir}之類的變量)。在提交工作流操作的時候，我們必須提供參數(shù)值。如果經(jīng)過合適地參數(shù)化(比方說，使用不同的輸出目錄)，那么多個同樣的工作流操作可以并發(fā)。

　　一些工作流是根據(jù)需要觸發(fā)的，但是大多數(shù)情況下，我們有必要基于一定的時間段和(或)數(shù)據(jù)可用性和(或)外部事件來運行它們。Oozie協(xié)調(diào)系統(tǒng)(Coordinator system)讓用戶可以基于這些參數(shù)來定義工作流執(zhí)行計劃。Oozie協(xié)調(diào)程序讓我們可以以謂詞的方式對工作流執(zhí)行觸發(fā)器進行建模，那可以指向數(shù)據(jù)、事件和(或)外部事件。工作流作業(yè)會在謂詞得到滿足的時候啟動。

　　經(jīng)常我們還需要連接定時運行、但時間間隔不同的工作流操作。多個隨后運行的工作流的輸出會成為下一個工作流的輸入。把這些工作流連接在一起，會讓系統(tǒng)把它作為數(shù)據(jù)應(yīng)用的管道來引用。Oozie協(xié)調(diào)程序支持創(chuàng)建這樣的數(shù)據(jù)應(yīng)用管道。

　　安裝Oozie

　　我們可以把Oozie安裝在現(xiàn)存的Hadoop系統(tǒng)中，安裝方式包括tarball、RPM和Debian包等。我們的Hadoop部署是Cloudera的CDH3，其中已經(jīng)包含了Oozie。因此，我們只是使用yum把它拉下來，然后在edge節(jié)點[1]上執(zhí)行安裝操作。在Oozie的發(fā)布包中有兩個組件——Oozie-client和Oozie-server。根據(jù)簇集的規(guī)模，你可以讓這兩個組件安裝在同一臺edge服務(wù)器上，也可能安裝在不同的計算機上。Oozie服務(wù)器中包含了用于觸發(fā)和控制作業(yè)的組件，而客戶端中包含了讓用戶可以觸發(fā)Oozie操作并與Oozie服務(wù)器通信的組件。

　　想要了解更多關(guān)于安裝過程的信息，請使用Cloudera發(fā)布包，并訪問Cloudera站點[2]。

　　注： 除了包括安裝過程的內(nèi)容之外，它還建議把下面的shell變量OOZIE_URL根據(jù)需要添加到.login、.kshrc或者shell的啟動文件中：

　　(export OOZIE_URL=http://localhost:11000/oozie)

簡單示例

　　為了向你展示Oozie的使用方法，讓我們創(chuàng)建一個簡單的示例。我們擁有兩個Map/Reduce作業(yè)[3]——一個會獲取最初的數(shù)據(jù)，另一個會合并指定類型的數(shù)據(jù)。實際的獲取操作需要執(zhí)行最初的獲取操作，然后把兩種類型的數(shù)據(jù)——Lidar和Multicam——合并。為了讓這個過程自動化，我們需要創(chuàng)建一個簡單的Oozie工作流(代碼1)

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的Java Web应用程序：Oozie及其使用方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。