DataWorks OpenAPI企业开发实战-运维监控大屏
工欲善其數(shù),必先利其器!
DataWorks OpenAPI現(xiàn)已正式發(fā)布,通過自帶的100多個API 功能,可以快速進行批量操作與系統(tǒng)集成對接等,助您顯著提升數(shù)據(jù)開發(fā)效率!
(DataWorks OpenAPI限企業(yè)版及以上版本使用)
DataWorks OpenAPI現(xiàn)開放7天免費試用,請使用釘釘掃碼聯(lián)系,提供試用賬號的UID與Region即可。
本文將會介紹如何使用DataWorks OpenAPI、DataWorks開放元數(shù)據(jù)、DataWorks開放事件消息三大利器搭建企業(yè)自己的DataWorks運維大屏。其中DataWorks OpenAPI已經(jīng)面向所有企業(yè)開放商業(yè)化,而DataWorks開放元數(shù)據(jù)、DataWorks開放事件消息還在邀測中。
租戶級別運維監(jiān)控
1、任務(wù)大盤
如上圖所示,我們可以在大屏上展示每天的節(jié)點總數(shù)和產(chǎn)生的實例(任務(wù))總數(shù)以及他們的環(huán)比情況,那么可以通過DataWorks開放元數(shù)據(jù)的表raw_v_schedule_node的數(shù)據(jù)計算出每日的節(jié)點總數(shù)然后再回流到RDS,通過raw_v_schedule_task表的數(shù)據(jù)則可以計算出每日的實例總數(shù)然后再回流到RDS,這樣就能得到每日的總數(shù),經(jīng)過計算后計算出環(huán)比。
想要使用DataWorks開放元數(shù)據(jù)的表需要在我們的邀測名單中,給主賬號完成表授權(quán)后就能使用自己的數(shù)據(jù)了。
2、任務(wù)運行趨勢圖
該圖展示DataWorks每日任務(wù)完成情況,這個監(jiān)控圖需要借助DataWorks開放事件消息的實時數(shù)據(jù)來統(tǒng)計完成,DataWorks開放事件消息目前邀測開放了調(diào)度任務(wù)事件消息和元數(shù)據(jù)表事件消息兩種事件消息,訂閱調(diào)度任務(wù)事件消息后可實時拿到調(diào)度任務(wù)的實時運行情況,比如某個任務(wù)開始等時間時就能收一條DataWorks事件消息,在本地系統(tǒng)接收到該消息后能拿到任務(wù)的概要信息,如果想要獲取該任務(wù)的更多信息可以通過調(diào)用GetInstance接口獲取。任務(wù)從未運行->等時間->等資源->開始運行->運行成功整個運行生命周期都能訂閱到事件消息,拿到實例信息后可以存儲到RDS,經(jīng)過積累后就能形成上面所示的任務(wù)運行情況趨勢圖了。
通過調(diào)度的事件消息數(shù)據(jù)不僅可以展示任務(wù)完成情況,還能展示任務(wù)各時間段等資源、運行中、運行失敗情況。想要訂閱DataWorks開放事件消息需要在我們的邀測名單中,我們頒發(fā)DataWorks的Kafka Topic以及賬密后就能訂閱到自己的消息了。
3、任務(wù)類型分布圖
基于第2節(jié)中從raw_v_schedule_node統(tǒng)計的數(shù)據(jù)也可以拿到任務(wù)類型分布圖中。任務(wù)類型對應(yīng)的字段是prgName。
項目級別運維監(jiān)控
1、周期實例數(shù)量趨勢圖
通過調(diào)用DataWorks OpenAPI的接口GetInstanceCountTrend即可拿到某項目下的周期實例運行數(shù)據(jù),參考文檔https://help.aliyun.com/document_detail/185675.html?spm=a2c4g.11186623.6.1294.13494e6dN9Hr0K
2、實例運行時長排行
通過調(diào)用DataWorks OpenAPI的接口GetInstanceConsumeTimeRank即可拿到某項目下實例運行時長數(shù)據(jù),參考文檔https://help.aliyun.com/document_detail/185676.html?spm=a2c4g.11186623.6.1295.2c0161c2yTlqiV
3、實例運行出錯排行
通過調(diào)用DataWorks OpenAPI的接口GetInstanceErrorRank即可拿到某項目下近一個月節(jié)點的出錯數(shù)據(jù),參考文檔https://help.aliyun.com/document_detail/185677.html?spm=a2c4g.11186623.6.1296.44945985P8ONel
4、結(jié)語
以上內(nèi)容介紹了運維大屏的一些基礎(chǔ)功能和如何使用DataWorks OpenAPI的能力來實現(xiàn),基于這些能力用戶可以挖掘出更多豐富的需求和場景,如果您有更好的想法也可以聯(lián)系我們。
本文案例中使用到的API列表:
GetInstanceCountTrend
GetInstanceConsumeTimeRank
GetInstanceErrorRank
本文案例中使用到的元數(shù)據(jù)表列表:
raw_v_schedule_node
raw_v_schedule_task
本文案例中使用到的事件消息:任務(wù)調(diào)度事件
DataWorks OpenAPI實戰(zhàn)系列:
數(shù)據(jù)開發(fā)全流程介紹
DataWorks OpenAPI 示例(元數(shù)據(jù)模塊)
DataWorks OpenAPI現(xiàn)開放7天免費試用,請使用釘釘掃碼聯(lián)系,提供試用賬號的UID與Region即可。
提效神器,DataWorks OpenAPI開放7天免費試用!
原文鏈接:https://developer.aliyun.com/article/782621?
版權(quán)聲明:本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻,版權(quán)歸原作者所有,阿里云開發(fā)者社區(qū)不擁有其著作權(quán),亦不承擔相應(yīng)法律責任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,填寫侵權(quán)投訴表單進行舉報,一經(jīng)查實,本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的DataWorks OpenAPI企业开发实战-运维监控大屏的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何利用DataWorks OpenAP
- 下一篇: 在线教育流量洪峰最佳实践