宙斯(zeus)是什么

宙斯是一個完整的Hadoop的作業平臺
從Hadoop任務的調試運行到生產任務的周期調度 宙斯支持任務的整個生命周期

從功能上來說，支持：
Hadoop MapReduce任務的調試運行
Hive任務的調試運行
Shell任務的運行
Hive元數據的可視化查詢與數據預覽
Hadoop任務的自動調度
完整的文檔管理

宙斯開源，不僅僅是開源技術，更是開源產品

開發中心，一個文檔管理，開發調試的環境，在任務上線前的主要工作區域
調度中心，生產任務的調度環境，當任務調試通過后，在此處配置調度信息進行生產調度

宙斯運行原理

使用指南

快速啟動(Quick Start)：
1.設置配置項
在/web/src/main/filter/antx.properties 中對配置項進行設置
設置完成后，復制到${user.home}/antx.properties處
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因為此jar不在maven倉庫中，此jar已經在/web/libs/highcharts-1.4.0.jar
將systemPath路徑設置為絕對路徑
3.數據庫配置
zeus數據庫:/web/src/main/resources/persistence.xml中對數據庫進行配置
hive元數據庫:/web/src/main/resources/templates/hive-site.xml中對Hive metastore數據庫進行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之類容器運行即可

以上步驟可以保證這個web項目正常啟動，如果需要正式上線此項目，還需要配置以下內容：
1.動態模板配置
宙斯系統中有很多模板是可以動態修改的，包括以下一些，建議在正式運行之前都配置好
首頁展示內容 啟動后參見頁面指南
首頁通知內容 啟動后參見頁面指南
hive 默認udf函數 com.taobao.zeus.jobs.sub.HiveJob實現TODO內容

2.登陸系統
宙斯不包含單獨的注冊系統
建議使用單點登陸來實現登陸
大致原理：
(1) web.xml添加一個filter，用來跳轉到單點登陸系統
(2) Spring容器中添加一個Bean，實現com.taobao.zeus.web.Login.Filter.SSOLogin接口

3.配置hadoop相關環境 默認的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相應的配置以對應相應的hadoop集群

4.超級管理員配置 在com.taobao.zeus.store.Super中進行配置

總結

以上是生活随笔為你收集整理的淘宝Hadoop作业平台 宙斯Zeus(转)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。