Azkaban业务流程如何转化为DataWorks业务流程
簡(jiǎn)介: 用戶在遷移上云的時(shí)候,需要將云下的的Azkaban任務(wù)遷移上云,之前通過用戶在DataWroks一步步創(chuàng)建對(duì)應(yīng)的業(yè)務(wù)流程,其轉(zhuǎn)化難度和轉(zhuǎn)化時(shí)間都是一定的成本和時(shí)間,但如何能做到省時(shí)省力的方式遷移,為此本文提供了使用遷移助手解決業(yè)務(wù)流程上云遷移的的問題,本文模擬Azkaban業(yè)務(wù)流程到入到DataWorks的操作過程,方便大家參閱。
一、安裝Azkaban,并將簡(jiǎn)單流程任務(wù)進(jìn)行打包運(yùn)行
1.1構(gòu)建對(duì)應(yīng)的運(yùn)行任務(wù)
bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
foo.job
# foo.job
type=command
command=echo foo
將這個(gè)兩個(gè)文件打包為foobar.zip文件
1.2.創(chuàng)建project
?
1.3.上傳對(duì)應(yīng)調(diào)度任務(wù)
1.4.運(yùn)行對(duì)應(yīng)的調(diào)度任務(wù)
二、在DataWorks打開遷移助手,并進(jìn)行業(yè)務(wù)流程的導(dǎo)入
2.1打開DataWorks的開發(fā)界面選擇全部產(chǎn)品,點(diǎn)擊運(yùn)維助手
2.2進(jìn)入遷移助手,點(diǎn)擊新建導(dǎo)入任務(wù)
2.3選擇對(duì)應(yīng)的Azkaban任務(wù),點(diǎn)擊上傳文件將foobar.zip進(jìn)行上傳
2.4上傳完成后,可以看到對(duì)應(yīng)的任務(wù)列表,查看對(duì)應(yīng)的導(dǎo)入報(bào)告
可以看待對(duì)應(yīng)任務(wù)導(dǎo)入是結(jié)果展示,以及轉(zhuǎn)化為的業(yè)務(wù)流程名稱
2.5最后回到Dataworks的開發(fā)界面進(jìn)行查看轉(zhuǎn)化后的調(diào)度任務(wù)
總結(jié)和注意事項(xiàng):
1.僅主賬號(hào)和工作空間管理員能夠進(jìn)行導(dǎo)入和導(dǎo)出操作,其他角色成員僅支持查看導(dǎo)入、導(dǎo)出任務(wù)列表,無操作權(quán)限。
2.目前支持Hive、Sqoop、Shell的轉(zhuǎn)化等。
3.遷移上DataWorks的業(yè)務(wù)流程,需要轉(zhuǎn)化的任務(wù)需要做手動(dòng)改動(dòng),但是整體的邏輯不會(huì)改變。對(duì)比重新建立對(duì)應(yīng)的繁雜的依賴關(guān)系,無論效率和成本都是完善的一種方案。
原文鏈接
本文為阿里云原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的Azkaban业务流程如何转化为DataWorks业务流程的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 3千字带你搞懂XXL-JOB任务调度平台
- 下一篇: 日志服务SLS 助力识货 APP,解决业