spark-jobserver介绍: 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts
spark-jobserver
Spark-jobserver 提供了一個 RESTful 接口來提交和管理 spark 的 jobs、jars 和 job contexts。這個項目包含了完整的 Spark job server 的項目,包括單元測試和項目部署腳本。
特性
“Spark as Service”:針對 job 和 contexts 的各個方面提供了 REST 風格的 api 接口進行管理
支持 SparkSQL、Hive、Streaming Contexts/jobs 以及定制 job contexts!具體參考Contexts
通過集成 Apache Shiro 來支持 LDAP 權限驗證
通過長期運行的job contexts支持亞秒級別低延遲的任務
可以通過結束 context 來停止運行的作業(job)
分割 jar 上傳步驟以提高 job 的啟動
異步和同步的 job API,其中同步 API 對低延時作業非常有效
支持 Standalone Spark 和 Mesos、yarn
Job 和 jar 信息通過一個可插拔的 DAO 接口來持久化
對RDD或DataFrame對象命名并緩存,通過該名稱獲取RDD或DataFrame。這樣可以提高對象在作業間的共享和重用
支持 Scala 2.11 版本和 2.12 版本
版本信息
請參考官方文檔:版本信息
部署
拷貝 conf/local.sh.template 文件到 local.sh 。備注:如果需要編譯不同版本的Spark,請修改 SPARK_VERSION 屬性。
拷貝 config/shiro.ini.template 文件到 shiro.ini。備注: 僅需 authentication = on時執行這一步。
拷貝 config/local.conf.template 到 .conf。
bin/server_deploy.sh ,這一步將job-server以及配置文件打包,并一同推送到配置的遠程服務器上。
在遠程服務器上部署的文件目錄下通過執行 server_start.sh 啟動服務,如需關閉服務可執行 server_stop.sh。
https://github.com/spark-jobserver/spark-jobserver/blob/master/doc/chinese/job-server.md
總結
以上是生活随笔為你收集整理的spark-jobserver介绍: 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linkis1.0下载地址
- 下一篇: 使用azkaban调度spark任务