Dataphin的代码自动化能力如何助力商业决策
前言
隨著大數(shù)據(jù)趨勢(shì)的迅速增長(zhǎng),數(shù)據(jù)的重要性與日俱增,企業(yè)內(nèi)看數(shù)據(jù)、用數(shù)據(jù)的訴求越來越強(qiáng)烈,其中最常見的就是各種經(jīng)營(yíng)報(bào)表數(shù)據(jù):
老板每日早晨9點(diǎn)準(zhǔn)時(shí)需要看到企業(yè)核心的經(jīng)營(yíng)數(shù)據(jù),以便進(jìn)行企業(yè)戰(zhàn)略及方向決策
業(yè)務(wù)負(fù)責(zé)人不定期進(jìn)行個(gè)性化的項(xiàng)目籌劃,需要多維、及時(shí)的效果數(shù)據(jù)以優(yōu)化項(xiàng)目安排
小二精準(zhǔn)營(yíng)銷活動(dòng)開展,需要和高層一致但粒度不同的經(jīng)營(yíng)分析數(shù)據(jù),并進(jìn)行活動(dòng)策略調(diào)整
……
舉個(gè)經(jīng)營(yíng)報(bào)表的例子如下:
這個(gè)例子并不復(fù)雜,但是對(duì)于分析師或者業(yè)務(wù)開發(fā)者,實(shí)際執(zhí)行的復(fù)雜度和工作量并不小,而且類似的工作每日都在重復(fù)……業(yè)務(wù)發(fā)展越快,帶來的問題就越來越多:
- 加工時(shí)間長(zhǎng)、人工成本高,招再多的分析師也難以滿足需求;
- 代碼可讀性差,數(shù)據(jù)可維護(hù)性差,類似需求需要反復(fù)、重復(fù)開發(fā);
- 代碼開發(fā)不規(guī)范,加工過程中難以避免的計(jì)算存儲(chǔ)浪費(fèi);
- 得到的數(shù)據(jù)指標(biāo),復(fù)用性差導(dǎo)致重復(fù)建設(shè),數(shù)據(jù)越來越不標(biāo)準(zhǔn)規(guī)范;
- 這種情況下對(duì)業(yè)務(wù)的直接影響就是:決策周期長(zhǎng)(數(shù)據(jù)需求滿足慢),決策易出錯(cuò)(數(shù)據(jù)指標(biāo)口徑不一致)
Dataphin:讓“指標(biāo)計(jì)算器”代替“代碼編輯器”
既要保證數(shù)據(jù)生產(chǎn)時(shí)效性——及時(shí)產(chǎn)出數(shù)據(jù)并滿足需求,又要支持?jǐn)?shù)據(jù)多樣性——企業(yè)自下而上不同業(yè)務(wù)分析場(chǎng)景,最后還要保證數(shù)據(jù)準(zhǔn)確性——任何時(shí)間、不同崗位的人都能用同樣的數(shù)據(jù)解讀經(jīng)營(yíng)情況,怎么才能做到呢?
企業(yè)的發(fā)展加速,離不開20世紀(jì)的文檔管理轉(zhuǎn)到21世紀(jì)的信息管理。同樣的,如果繁復(fù)的指標(biāo)代碼編寫工作,也可以如計(jì)算器一般,界面可視化點(diǎn)選,復(fù)雜的代碼研發(fā)過程由計(jì)算器自行處理完成,就好了。
而Dataphin基于One Data - One Model能力,就可以充分實(shí)現(xiàn)這個(gè)能力!
Step 1 選擇組合條件
如下圖,確定需要統(tǒng)計(jì)計(jì)算的值,Dataphin里稱為“原子指標(biāo)”——最小的數(shù)據(jù)值統(tǒng)計(jì)單元,比如用戶數(shù)這樣的統(tǒng)計(jì)值等,然后組合如下內(nèi)容:
A. 統(tǒng)計(jì)計(jì)算值需要應(yīng)用的分析對(duì)象,Dataphin里稱為“統(tǒng)計(jì)粒度”——維度或維度的組合,比如用戶星級(jí)、用戶狀態(tài)等;
B. 數(shù)據(jù)統(tǒng)計(jì)計(jì)算的時(shí)間周期,Dataphin里稱為“統(tǒng)計(jì)周期”——統(tǒng)計(jì)數(shù)據(jù)需要跨越的時(shí)間長(zhǎng)度,比如最近1天、最近30天、自然周、自然月的等;
C. 數(shù)據(jù)統(tǒng)計(jì)的其他個(gè)性化限定條件,Dataphin里稱為“業(yè)務(wù)限定”——數(shù)據(jù)記錄的篩選過濾條件,比如生鮮業(yè)務(wù)類型、PC端、女性等。
Step 2 預(yù)覽指標(biāo)
選擇完畢組合條件后,可以預(yù)覽組合出來的派生指標(biāo):
1)組合的指標(biāo),默認(rèn)名取“原子指標(biāo)+時(shí)間周期+業(yè)務(wù)限定”組合名,保證命名標(biāo)準(zhǔn)規(guī)范。
2)歷史已生成的組合,不再生成,保證指標(biāo)建設(shè)統(tǒng)一,無重復(fù)
Step 3 一鍵自動(dòng)化生成!
確認(rèn)需要提交的指標(biāo)后,一鍵【提交】,分鐘級(jí)指標(biāo)生成:
1)自動(dòng)匯聚至以“統(tǒng)計(jì)粒度為主題”的匯總邏輯表表下,保證管理標(biāo)準(zhǔn)規(guī)范;
2)代碼和調(diào)度依賴關(guān)系,系統(tǒng)自動(dòng)生成;
3)派生指標(biāo)基于匯總邏輯表,可快速雪花模型查詢使用指標(biāo)、分析對(duì)象的屬性信息。
①派生指標(biāo)自動(dòng)匯聚至匯總邏輯表
②派生指標(biāo)所在匯總表節(jié)點(diǎn),代碼及調(diào)度關(guān)系自動(dòng)生成
③匯總表及派生指標(biāo)可查詢消費(fèi)
Step 4 復(fù)雜需求實(shí)現(xiàn)
上面主要是基于簡(jiǎn)單統(tǒng)計(jì)指標(biāo)實(shí)現(xiàn),實(shí)際上,報(bào)表需求還有類似 比率型、乘積型等復(fù)合統(tǒng)計(jì)方式,比如“客單價(jià)=銷售額/客戶數(shù)”,這類也可以通過Dataphin的衍生原子指標(biāo)實(shí)現(xiàn):
1)衍生原子指標(biāo)是基于原子指標(biāo)的再組合;
2)基于衍生原子指標(biāo)新建派生指標(biāo)時(shí),需要保證拆解到最細(xì)粒度的原子指標(biāo),有相同的分析維度、時(shí)間周期,允許維度的計(jì)算路徑不同、設(shè)置的業(yè)務(wù)限定不同。
①新建衍生原子指標(biāo)
②基于衍生原子指標(biāo)新建派生指標(biāo)
Dataphin:“指標(biāo)計(jì)算器”背后的故事
上面步驟可以看到,派生指標(biāo)的計(jì)算生成,離不開原子指標(biāo)、業(yè)務(wù)限定、統(tǒng)計(jì)粒度的協(xié)助,這其中有什么奧秘呢?
其實(shí)很簡(jiǎn)單,用Dataphin高效創(chuàng)建派生指標(biāo),掌握這1張圖就夠了:
1)原子指標(biāo)為核心,原子指標(biāo)的來源表為中心
2)統(tǒng)計(jì)粒度取自來源表的關(guān)聯(lián)維度,以及關(guān)聯(lián)維度上的關(guān)聯(lián)維度
3)業(yè)務(wù)限定基于來源表為中心的雪花模型做定義
4)統(tǒng)計(jì)周期可任意搭配使用
總結(jié):One Model,One Dream
Dataphin作為阿里巴巴數(shù)據(jù)中臺(tái)原創(chuàng)產(chǎn)品,從設(shè)計(jì)之初就決心為業(yè)務(wù)價(jià)值而生!
其中的智能研發(fā)版以O(shè)ne Data - One Model的方法論為指導(dǎo),致力于統(tǒng)一的數(shù)據(jù)構(gòu)建與管理:
指標(biāo)【標(biāo)準(zhǔn)化】,保證數(shù)據(jù)研發(fā)的【一致性與效率】
【拖拽式】數(shù)據(jù)模型設(shè)計(jì)+【自動(dòng)化代碼】開發(fā)=高效的【數(shù)據(jù)研發(fā)生產(chǎn)力】
從而幫助企業(yè)充分發(fā)揮數(shù)據(jù)價(jià)值、實(shí)現(xiàn)業(yè)務(wù)價(jià)值:
100%消除二義性:根據(jù)【選擇條件】組合,【批量生成】統(tǒng)計(jì)指標(biāo)
分鐘級(jí)自動(dòng)化代碼生成:【可視化設(shè)計(jì)】編輯邏輯表星型模型/雪花模型,【設(shè)計(jì)提交】自動(dòng)化生成代碼(設(shè)計(jì)即開發(fā))
希望不遠(yuǎn)的未來,每個(gè)企業(yè)都可以基于Dataphin做出最高效、最全面、最正確的決定!
結(jié)語:
阿里巴巴數(shù)據(jù)中臺(tái)團(tuán)隊(duì),致力于輸出阿里云數(shù)據(jù)智能的最佳實(shí)踐,助力每個(gè)企業(yè)建設(shè)自己的數(shù)據(jù)中臺(tái),進(jìn)而共同實(shí)現(xiàn)新時(shí)代下的智能商業(yè)!
阿里巴巴數(shù)據(jù)中臺(tái)解決方案,核心產(chǎn)品:
Dataphin,以阿里巴巴大數(shù)據(jù)核心方法論OneData為內(nèi)核驅(qū)動(dòng),提供一站式數(shù)據(jù)構(gòu)建與管理能力;
Quick BI,集阿里巴巴數(shù)據(jù)分析經(jīng)驗(yàn)沉淀,提供一站式數(shù)據(jù)分析與展現(xiàn)能力;
Quick Audience,集阿里巴巴消費(fèi)者洞察及營(yíng)銷經(jīng)驗(yàn),提供一站式人群圈選、洞察及營(yíng)銷投放能力,連接阿里巴巴商業(yè),實(shí)現(xiàn)用戶增長(zhǎng)。
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的Dataphin的代码自动化能力如何助力商业决策的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: GMTC2019|闲鱼-基于Flutte
- 下一篇: 相信坚持的力量,我的程序员打怪升级之路