数据中台建设中的得与失
?本文根據(jù)新康眾數(shù)據(jù)中臺負責人閆順成《數(shù)據(jù)中臺建設(shè)中的得與失》的演講整理。主要內(nèi)容如下:
一、什么是數(shù)據(jù)中臺
每個企業(yè)、每個崗位、每個人對數(shù)據(jù)中臺的理解都有所不同。在阿里,數(shù)據(jù)中臺與方法論、組織架構(gòu)、工具等密切相關(guān),是數(shù)據(jù)服務(wù) + 解決方案 + 團隊保障。
我很認可的一種說法是:數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制,一種戰(zhàn)略選擇和組織形式,是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu),通過有形的產(chǎn)品和實施方法論支撐,構(gòu)建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機制。
縱觀整個市場,大多數(shù)的中臺都是用來支撐業(yè)務(wù)創(chuàng)新的,數(shù)據(jù)中臺亦是如此,它能夠幫助企業(yè)在此基礎(chǔ)之上驅(qū)動業(yè)務(wù)增長,而不是花費過多時間在數(shù)據(jù)采集、處理等方面。
在數(shù)據(jù)中臺的建設(shè)過程中,需要配備五個要素:企業(yè)數(shù)據(jù)高效使用、數(shù)據(jù)能力快速輸出、解決方案、組織保障、建設(shè)方法論。其中,在數(shù)據(jù)能力快速輸出方面,我們將其分為五個層級,如下圖所示:??· 建設(shè)數(shù)據(jù)模型,幫助企業(yè)在做 BI 深度分析的時候,輕松、快速拿到想要的數(shù)據(jù)。
· 數(shù)據(jù) API 的應(yīng)用服務(wù),正如通過 PPT 做報告的形式輸出,該層級通過形成一種通用 API,滿足產(chǎn)品調(diào)用需求。
· 基礎(chǔ)報表,它僅覆蓋常用數(shù)據(jù),并非 BI 形成的場景化分析報表。
· 數(shù)據(jù)可視化,我們提出了一個概念叫全鏈路經(jīng)營可視化,目的是為了幫助企業(yè)快速決策。
· 數(shù)據(jù)智能,目前我們已經(jīng)針對具體場景做了探索,接下來會將數(shù)據(jù)智能發(fā)展成為一種能力,比如預(yù)算能力、文本識別能力等,并將其作為數(shù)據(jù)中臺輸出能力的一部分。
二、新康眾數(shù)據(jù)中臺建設(shè)歷程
新康眾由四家企業(yè)整合而成,各自運用的系統(tǒng)不一樣,組織方式也不一樣,因此我們在成立后做的第一件事情就是系統(tǒng)整合。在這個過程中,數(shù)據(jù)頻繁變動,很難立即推出數(shù)據(jù)中臺的概念來支撐業(yè)務(wù)發(fā)展,因此在第一年,也就是公司的整合階段,我們采用傳統(tǒng)數(shù)倉 + BI 的方式,整合數(shù)據(jù),快速支撐業(yè)務(wù)順利開展。
第二階段即數(shù)據(jù)中臺的建設(shè)階段,我們借用阿里的平臺工具,完成基礎(chǔ)模型的搭建,進行模型拆分、業(yè)務(wù)思考等,實現(xiàn)數(shù)據(jù)與業(yè)務(wù)的統(tǒng)一。 接下來是提升階段,大力推進全鏈路經(jīng)營可視化,并將其落到實際場景中去。
在新康眾的數(shù)據(jù)中臺架構(gòu)中,我們通常將其分為四大模塊:
· 數(shù)據(jù)采集,運用神策數(shù)據(jù)的私有化部署;
· 存儲計算,運用阿里的 DataWorks;
· 數(shù)據(jù)標準體系建設(shè),根據(jù)我們自身的業(yè)務(wù)場景抽象出業(yè)務(wù)域,并基于此完成建設(shè),并設(shè)置指標中心、標簽中心和畫像中心;
· 數(shù)據(jù)應(yīng)用,利用 BI 工具接入我們的數(shù)據(jù)體系,聯(lián)合數(shù)據(jù) API、報表系統(tǒng)、數(shù)據(jù)可視化和數(shù)據(jù)智能,推動數(shù)據(jù)能力的輸出,最終支持業(yè)務(wù)決策。?
三、數(shù)據(jù)中臺的得與失
接下來介紹一下我對數(shù)據(jù)中臺的八點認識:
1.數(shù)據(jù)中臺建設(shè)必要性
數(shù)據(jù)中臺不是非做不可,它很大程度上取決于企業(yè)管理層的態(tài)度——對時間、人力、金錢等投入的態(tài)度以及對數(shù)據(jù)中臺的需求程度。
首先,在企業(yè)的數(shù)字化戰(zhàn)略方向,企業(yè)是否愿意往前推進決定著數(shù)據(jù)中臺建設(shè)能否順利提上日程,因為數(shù)據(jù)中臺相較于傳統(tǒng)數(shù)倉等,需要的人力成本和時間成本較高;另外,數(shù)據(jù)穩(wěn)定性、業(yè)務(wù)復(fù)雜性、數(shù)據(jù)開發(fā)團隊規(guī)模也影響著數(shù)據(jù)中臺的建設(shè);其次,企業(yè)是否有建設(shè)數(shù)據(jù)中臺的能力也至關(guān)重要。
另外,判斷企業(yè)是否遇到數(shù)據(jù)重復(fù)建設(shè)、數(shù)據(jù)協(xié)作效率低、團隊能力不齊等問題,是否需要建設(shè)數(shù)據(jù)中臺來整改。
2.數(shù)據(jù)中臺的邊界
阿里經(jīng)常提“大中臺小前臺”的概念,即中臺體系較大,對前臺可操作的空間有所限制。很多場景下,提供基礎(chǔ)模型輸出,到達 API 層級即可滿足企業(yè)業(yè)務(wù)需求;但如果團隊規(guī)模較大、能力夠強、對業(yè)務(wù)的了解足夠深入的話,可以考慮繼續(xù)拓寬數(shù)據(jù)中臺的邊界。
目前新康眾規(guī)劃中的推進全鏈路經(jīng)營可視化便是拓寬數(shù)據(jù)中臺邊界的表現(xiàn)。在這個過程中,最好的建設(shè)方式是:先確定邊界,然后一部分一部分地去完善、補充。
3.數(shù)據(jù)中臺規(guī)劃思路
在我們規(guī)劃建設(shè)數(shù)據(jù)中臺時,主要強調(diào)以下兩點:
(1)從業(yè)務(wù)入手,思考業(yè)務(wù)的本質(zhì)
對于大多數(shù)企業(yè)來說,早期建設(shè)數(shù)據(jù)中臺時,會優(yōu)先基于企業(yè)內(nèi)部現(xiàn)有數(shù)據(jù)做模型搭建、API 輸出,這種做法雖然也能產(chǎn)生一定的作用,但若想要數(shù)據(jù)中臺在企業(yè)內(nèi)部發(fā)揮長遠價值,就要去思考企業(yè)的業(yè)務(wù)發(fā)展方向,并隨著業(yè)務(wù)的發(fā)展去考慮數(shù)據(jù)中臺的模型架構(gòu)圖該如何搭建。
(2)向下推動業(yè)務(wù)數(shù)據(jù)化,向上推動數(shù)據(jù)業(yè)務(wù)化
數(shù)據(jù)中臺是要滿足企業(yè)對數(shù)據(jù)使用的需求,但數(shù)據(jù)從哪里來也是需要思考的問題。當你根據(jù)企業(yè)的業(yè)務(wù)方向做模型預(yù)測時,發(fā)現(xiàn)企業(yè)的實際應(yīng)用系統(tǒng)跟你想象中的不一致,那么此時就可以從數(shù)據(jù)角度去推導(dǎo)業(yè)務(wù)和產(chǎn)品的具體場景。
數(shù)據(jù)最終是支持業(yè)務(wù)的,因此我們向上要幫助業(yè)務(wù)部門把數(shù)據(jù)用起來,充分發(fā)揮數(shù)據(jù)的價值;向下要打通多端數(shù)據(jù)源,規(guī)范數(shù)據(jù)。也就是說,在建設(shè)數(shù)據(jù)中臺的過程中,我們不僅要思考如何建設(shè)數(shù)據(jù)中臺,還要考慮如何推動數(shù)據(jù)中臺發(fā)揮其價值。
4.數(shù)據(jù)中臺落地思路
數(shù)據(jù)中臺的建設(shè)周期通常較長,為了能夠與業(yè)務(wù)部門的需求及時匹配,可以優(yōu)先推動業(yè)務(wù)發(fā)展,在此基礎(chǔ)上獲取數(shù)據(jù)進行分析后再驅(qū)動業(yè)務(wù),形成閉環(huán)。同時,我們采用整體規(guī)劃、場景切入的形式,每個模型框架落地到一個具體的業(yè)務(wù)場景,以此推動數(shù)據(jù)中臺快速發(fā)揮價值。
5.數(shù)據(jù)的完整性
針對此,我們將數(shù)據(jù)中臺全鏈路打通,根據(jù)業(yè)務(wù)需求逐步落地,確保數(shù)據(jù)完整、真實。
6.數(shù)據(jù)的安全性
數(shù)據(jù)安全管控差的話,對企業(yè)經(jīng)營有較大風險。在新康眾,我們堅持數(shù)據(jù)透明,對某些敏感數(shù)據(jù)會進行脫敏,BI 數(shù)據(jù)等對內(nèi)會相對寬松,C 端同學也是可以看 B 端數(shù)據(jù)的,這樣有助于交叉業(yè)務(wù)的高效發(fā)展。
同時,我們會面向業(yè)務(wù)人員設(shè)置數(shù)據(jù)權(quán)限,結(jié)合人員標簽,實現(xiàn)數(shù)據(jù)安全的全局控制。
另外,我們也設(shè)置了場景審核,人員查看數(shù)據(jù)后的延伸場景在哪里,發(fā)給誰、用在什么地方等等。
7.數(shù)據(jù)的準確性
在準確性方面,我們面臨著數(shù)據(jù)難以完全治理的問題,主要表現(xiàn)在業(yè)務(wù)變動系統(tǒng)更新、業(yè)務(wù)系統(tǒng) bug 不斷這兩方面。
針對此,我們首先對數(shù)據(jù)源進行監(jiān)控,通過系統(tǒng)開發(fā)反饋,系統(tǒng)自動監(jiān)控,結(jié)果數(shù)據(jù)監(jiān)控三種方式實現(xiàn);然后保重點場景,如業(yè)務(wù)核心場景以及 CEO 高頻查看場景等;最后,要盡可能地早于業(yè)務(wù)方發(fā)現(xiàn)問題及時同步并做預(yù)先處理。
8.數(shù)據(jù)中臺團隊協(xié)作
在新康眾,數(shù)據(jù)倉庫團隊由技術(shù)開發(fā)、BI、產(chǎn)品和算法共同組成,因此對團隊協(xié)作上要求較高,包括業(yè)務(wù)域劃分、邊界明確、場景協(xié)作等。
四、數(shù)據(jù)中臺之神策案例
接入神策數(shù)據(jù)私有化部署以來,我們的多條產(chǎn)品線均有明顯提升。接下來為大家介紹兩個具體案例場景:
1.洛書項目:產(chǎn)品指標中心
我們的細分產(chǎn)品有三四十個,每個產(chǎn)品都涉及產(chǎn)品數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶行為數(shù)據(jù)等,在定義產(chǎn)品指標的過程中,我們通過神策數(shù)據(jù)的埋點技術(shù),將多端數(shù)據(jù)打通并匯入數(shù)據(jù)中臺產(chǎn)生報表,生成多樣化產(chǎn)品指標,再用可視化的形式進行展示。
在后臺,我們可以實現(xiàn)跨產(chǎn)品線管理,也可以清晰劃分單獨產(chǎn)品線,完全可以根據(jù)自己的業(yè)務(wù)需求來進行配置,也無需擔心數(shù)據(jù)安全,這就是私有化部署的魅力所在。
2.數(shù)據(jù)智能:搜索鏈路分析
在康眾汽配 APP 中,我們借助于神策數(shù)據(jù)的埋點技術(shù),關(guān)注每個坑位的搜索與轉(zhuǎn)化情況,用戶流失情況,以此評判 UV 和 PV 的利用效率,去發(fā)現(xiàn)如何能夠?qū)崿F(xiàn)用戶的高效轉(zhuǎn)化的策略并快速落地。
數(shù)據(jù)的價值猶如漂浮在海面上的冰山,絕大部分被隱藏在我們看不到的地方,而數(shù)據(jù)中臺的建設(shè)正是為了保證數(shù)據(jù)價值充分發(fā)揮,提高研發(fā)人員、業(yè)務(wù)人員、運營人員以及企業(yè)管理者的工作效率。
關(guān)于神策數(shù)據(jù)
神策數(shù)據(jù)是專業(yè)的大數(shù)據(jù)分析和營銷科技服務(wù)提供商。公司圍繞用戶級大數(shù)據(jù)分析和管理需求,推出神策分析、神策用戶畫像、神策智能運營、神策智能推薦、神策客景等產(chǎn)品。
總結(jié)
以上是生活随笔為你收集整理的数据中台建设中的得与失的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 新康众闫顺成:数据中台建设中的得与失
- 下一篇: 神策数据王灼洲:方法论 + 实践,全面解