宙斯(zeus)是什么

宙斯是一個完整的Hadoop的作業(yè)平臺
從Hadoop任務的調(diào)試運行到生產(chǎn)任務的周期調(diào)度 宙斯支持任務的整個生命周期

從功能上來說，支持：
Hadoop MapReduce任務的調(diào)試運行
Hive任務的調(diào)試運行
Shell任務的運行
Hive元數(shù)據(jù)的可視化查詢與數(shù)據(jù)預覽
Hadoop任務的自動調(diào)度
完整的文檔管理

宙斯開源，不僅僅是開源技術(shù)，更是開源產(chǎn)品

開發(fā)中心，一個文檔管理，開發(fā)調(diào)試的環(huán)境，在任務上線前的主要工作區(qū)域
調(diào)度中心，生產(chǎn)任務的調(diào)度環(huán)境，當任務調(diào)試通過后，在此處配置調(diào)度信息進行生產(chǎn)調(diào)度

宙斯運行原理

使用指南

快速啟動(Quick Start)：
1.設置配置項
在/web/src/main/filter/antx.properties 中對配置項進行設置
設置完成后，復制到${user.home}/antx.properties處
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因為此jar不在maven倉庫中，此jar已經(jīng)在/web/libs/highcharts-1.4.0.jar
將systemPath路徑設置為絕對路徑
3.數(shù)據(jù)庫配置
zeus數(shù)據(jù)庫:/web/src/main/resources/persistence.xml中對數(shù)據(jù)庫進行配置
hive元數(shù)據(jù)庫:/web/src/main/resources/templates/hive-site.xml中對Hive metastore數(shù)據(jù)庫進行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之類容器運行即可

以上步驟可以保證這個web項目正常啟動，如果需要正式上線此項目，還需要配置以下內(nèi)容：
1.動態(tài)模板配置
宙斯系統(tǒng)中有很多模板是可以動態(tài)修改的，包括以下一些，建議在正式運行之前都配置好
首頁展示內(nèi)容 啟動后參見頁面指南
首頁通知內(nèi)容 啟動后參見頁面指南
hive 默認udf函數(shù) com.taobao.zeus.jobs.sub.HiveJob實現(xiàn)TODO內(nèi)容

2.登陸系統(tǒng)
宙斯不包含單獨的注冊系統(tǒng)
建議使用單點登陸來實現(xiàn)登陸
大致原理：
(1) web.xml添加一個filter，用來跳轉(zhuǎn)到單點登陸系統(tǒng)
(2) Spring容器中添加一個Bean，實現(xiàn)com.taobao.zeus.web.Login.Filter.SSOLogin接口

3.配置hadoop相關環(huán)境 默認的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相應的配置以對應相應的hadoop集群

4.超級管理員配置 在com.taobao.zeus.store.Super中進行配置

總結(jié)

以上是生活随笔為你收集整理的淘宝Hadoop作业平台 宙斯Zeus(转)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。