詳解Hadoop作業平臺宙斯Zeus

楊?

分布式研發?程師

開源愛好者

技術顧問

郵箱：yangf_sky@163.com

博客：/yangfei001

微博：/u/1664659850

內容?綱

?Zeus功能介紹

?Zeus與Oozie

?Zeus概覽

?Zeus架構詳解

?Zeus任務執?流程詳解

?Zeus實戰

?Zeus組件介紹

?安裝注意事項

?zeus2

為什么需要調度？？

?直接放到crontab 中？？

???個腳本直接調?？？

?直接?動執?？？

?

……

Zeus是什么?

??套分布式?作流調度作業平臺，從任務的調試運?到

?產任務的周期調度

?Hadoop MapReduce任務的調試運?

?Hive任務的調試運?

?Shell任務的運?

?Hive元數據的可視化查詢與數據預覽

?Hadoop任務的?動調度

?完整的?檔管理

?不斷更新和優化，及時在線答疑

Zeus與Oozie

?相同：基于Hadoop平臺的開源?作流調度系統

?優勢：

?Zeus友好的交互界?和統計?具

?Zeus提供在線?持

?Zeus配置簡單，Oozie需要配置XML?件

?完整的權限管理

?不?：

?Oozie?持Pig、Sqoop等任務

??持不?

Zeus概覽

Zeus概覽

Zeus概覽

Zeus架構

Zeus物理架構

Zeus架構

Master ：

1、調度內核，持有分布式鎖，內部啟動著調度Server

2、維護Job 間的依賴關系，

3、獲取Job執?結果，成功給其他任務發?播，失敗發送告警

Worker ：

1、執?Master下發的任務

2、定期上報正在執?的任務隊列

3、定期檢測Master的運?狀態

4、持有當前Master標志

Zeus架構

Master單點解決?案

1、Worker競爭獲得分布式鎖，獲得鎖的節點成為

Master ，啟動調度內核

2、未獲得分布式鎖的節點停?當前任務，并連接新的

Master

3、Master將之前正在執?的任務重新下發給各個Worker

Zeus詳解

獲取執?的worker,下發

將任務提交到Master 任務

返回執?結果

返回執?結果

獲得結果

在WEB UI上創建任務，上傳資

源，并且點擊?動執?

Zeus詳解

Master Alarm

將失敗信息告知管理員

計算任務是否滿?執?條件，如

果滿?下發到worker

Worker

下載任務需要的資源，執?任務

上報結果

Zeus實戰

前置條件

1、安裝dos2unix (必須)

2 、安裝Hadoop客戶端,確保hadoop命令可?(可選)

3 、安裝Hive客戶端,確保hive命令可?(可選)

4 、安裝打包?具Maven (可選)

Zeus實戰

配置修改

1、在/web/sr

總結

以上是生活随笔為你收集整理的java泰坦宙斯之战程序_详解Hadoop作业平台宙斯Zeus.pdf的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。