日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

DolphinScheduler对比Airflow

發布時間:2024/7/5 编程问答 80 豆豆
生活随笔 收集整理的這篇文章主要介紹了 DolphinScheduler对比Airflow 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
DolphinSchedulerAirFlow
穩定性單點故障去中心化的多Master和多Worke是(單一調度程序)
HA額外要求不需要(本身就支持HA)Celery / Dask / Mesos + Load Balancer + DB
過載處理任務隊列機制,單個機器上可調度的任務數量可以靈活配置,當任務過多時會緩存在任務隊列中,不會造成機器卡死任務太多時會卡死服務器
易用性DAG監控界面任務狀態、任務類型、重試次數、任務運行機器、可視化變量等關鍵信息一目了然不能直觀區分任務類型
可視化流程定義是(所有流程定義操作都是可視化的,通過拖拽任務來繪制DAG,配置數據源及資源。同時對于第三方系統,提供api方式的操作)否(通過python代碼來繪制DAG,使用不便,特別是對不會寫代碼的業務人員基本無法使用)
快速部署一鍵部署集群化部署復雜
功能是否能暫停和恢復支持暫停(非真暫停),恢復操作否(只能先將工作流殺死再重新運行)
是否支持多租戶支持(DolphinScheduler上的用戶可以通過租戶和hadoop用戶實現多對一或一對一的映射關系,這對大數據作業的調度是非常重要的)否(只支持多用戶)
任務類型支持傳統的shell任務,同時支持大數據平臺任務調度: MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_ProcessBashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator
契合度支持大數據作業spark,hive,mr的調度,同時由于支持多租戶,與大數據業務更加契合由于不支持多租戶,在大數據平臺業務使用不夠靈活
任務重跑支持失敗任務重跑,但是不能指定從任意一個任務開始重跑可以指定從任意一個任務節點開始重跑
跳過某些任務/運行節點
跨項目依賴
項目內依賴是(在一個項目中前驅依賴可以指定不同工作流中任意一個任務,后繼依賴可以指定一整個工作流,但是無法指定其他工作流中的任意一個任務)是(將DAG定義在一個腳本中)
擴展性是否支持自定義任務類型
是否支持集群擴展是(調度器使用分布式調度,整體的調度能力會隨便集群的規模線性增長,Master和Worker支持動態上下線)是(但是Executor水平擴展復雜)
監控告警服務狀態監控
告警類型自帶郵件告警,支持分組監控告警不自帶告警
系統版本系統版本要求均7.0以上暫無
任務遷移支持任務遷移/Copy
支持組件命令支持Python命令
支持Hive-SQL命令
支持Shell命令
支持Http命令
支持Sqoop命令
支持Spark命令
支持Flink命令
支持MR命令
支持Datax命令
支持Hadoop命令
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的DolphinScheduler对比Airflow的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。