作者 | 彭鋒 宋文欣 孫浩峰

來源 | 大數(shù)據(jù)DT

頭圖 | 下載于視覺中國(guó)

傳統(tǒng)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)中臺(tái)的數(shù)據(jù)來源，建設(shè)數(shù)據(jù)中臺(tái)是為了更好地服務(wù)于業(yè)務(wù)部門。

下圖展示了信息化系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、傳統(tǒng)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)之間的關(guān)系，其中的箭頭表示數(shù)據(jù)的主要流向。

▲圖1-1 數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系

數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)到底有什么區(qū)別？

為了敘述方便，我們先給出傳統(tǒng)大數(shù)據(jù)平臺(tái)的架構(gòu)（見圖1-2）。

▲圖1-2 傳統(tǒng)大數(shù)據(jù)平臺(tái)

• 大數(shù)據(jù)基礎(chǔ)能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。

• 在大數(shù)據(jù)組件上搭建的 ETL流水線，包括數(shù)據(jù)分析、機(jī)器學(xué)習(xí)程序。

• 數(shù)據(jù)治理系統(tǒng)。

• 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。

• 數(shù)據(jù)可視化系統(tǒng)。

可以看到，這些是傳統(tǒng)大數(shù)據(jù)平臺(tái)的核心功能。在很多大數(shù)據(jù)項(xiàng)目里，只要把這些系統(tǒng)搭起來，每天可以生成業(yè)務(wù)報(bào)表（包括實(shí)時(shí)大屏），就算大數(shù)據(jù)平臺(tái)搭建成功了。

但數(shù)據(jù)中臺(tái)應(yīng)該是大數(shù)據(jù)平臺(tái)的一個(gè)超集。我們認(rèn)為，在大數(shù)據(jù)平臺(tái)的基礎(chǔ)之上，數(shù)據(jù)中臺(tái)還應(yīng)該提供下面的系統(tǒng)功能。

1. 全局的數(shù)據(jù)應(yīng)用資產(chǎn)管理

這里所說的數(shù)據(jù)應(yīng)用資產(chǎn)管理包括整個(gè)生態(tài)系統(tǒng)中的數(shù)據(jù)和應(yīng)用。傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理絕大部分只包括關(guān)系型數(shù)據(jù)庫(kù)中的資產(chǎn)（包括Hive），而一個(gè)數(shù)據(jù)中臺(tái)應(yīng)該管理所有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)資產(chǎn)，以及使用這些數(shù)據(jù)資產(chǎn)的應(yīng)用。

如果傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理提供的是數(shù)據(jù)目錄，那么數(shù)據(jù)中臺(tái)提供的應(yīng)該是擴(kuò)展的數(shù)據(jù)及應(yīng)用目錄。要避免重復(fù)造輪子，首先要知道系統(tǒng)中有哪些輪子，因此維護(hù)一個(gè)系統(tǒng)中數(shù)據(jù)及數(shù)據(jù)應(yīng)用的列表是很關(guān)鍵的。

2. 全局的數(shù)據(jù)治理機(jī)制

與傳統(tǒng)的數(shù)據(jù)治理不一樣，數(shù)據(jù)中臺(tái)必須提供針對(duì)全局的數(shù)據(jù)治理工具和機(jī)制。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)建模和數(shù)據(jù)治理大多針對(duì)一個(gè)特定部門的業(yè)務(wù)，部分原因是全局?jǐn)?shù)據(jù)建模和治理周期太長(zhǎng)，由于存在部門之間的協(xié)調(diào)問題，往往難度很大。

數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)治理機(jī)制必須允許各個(gè)業(yè)務(wù)部門自主迭代，但前提是要有全局一致的標(biāo)準(zhǔn)。阿里提出的OneID強(qiáng)調(diào)全局統(tǒng)一的對(duì)象ID（例如用戶ID），就屬于這個(gè)機(jī)制。

3. 自助的、多租戶的數(shù)據(jù)應(yīng)用開發(fā)及發(fā)布

現(xiàn)有的絕大部分大數(shù)據(jù)平臺(tái)要求使用者具備一定的編程能力。數(shù)據(jù)中臺(tái)強(qiáng)調(diào)的是為業(yè)務(wù)部門賦能，而業(yè)務(wù)人員需要有一個(gè)自助的、可適應(yīng)不同水平和能力要求的開發(fā)平臺(tái)。這個(gè)開發(fā)平臺(tái)要能夠保證數(shù)據(jù)隔離和資源隔離，這樣任何一個(gè)使用系統(tǒng)的人都不用擔(dān)心自己會(huì)對(duì)系統(tǒng)造成損害。

4. 數(shù)據(jù)應(yīng)用運(yùn)維

用戶應(yīng)該可以很方便地將自己開發(fā)的數(shù)據(jù)應(yīng)用自助發(fā)布到生產(chǎn)系統(tǒng)中，而無須經(jīng)過專門的數(shù)據(jù)團(tuán)隊(duì)。因?yàn)槲覀冃枰蚕磉@些應(yīng)用及其產(chǎn)生的數(shù)據(jù)，所以需要有類似于CI/CD的專門系統(tǒng)來管理應(yīng)用的代碼質(zhì)量和進(jìn)行版本控制。

在數(shù)據(jù)應(yīng)用運(yùn)行過程中產(chǎn)生的數(shù)據(jù)也需要全程監(jiān)控，以保證數(shù)據(jù)的完整性、正確性和實(shí)時(shí)性。

5. 數(shù)據(jù)應(yīng)用集成

應(yīng)該可以隨時(shí)集成新的數(shù)據(jù)應(yīng)用。新的大數(shù)據(jù)應(yīng)用、人工智能工具不斷涌現(xiàn)，我們的系統(tǒng)應(yīng)該能夠隨時(shí)支持這些新應(yīng)用。如果數(shù)據(jù)中臺(tái)不能支持這些應(yīng)用，各個(gè)業(yè)務(wù)部門可能又會(huì)打造自己的小集群，造成新的數(shù)據(jù)孤島及應(yīng)用孤島。

6. 數(shù)據(jù)即服務(wù)，模型即服務(wù)

數(shù)據(jù)分析的結(jié)果，不管是統(tǒng)計(jì)分析的結(jié)果，還是機(jī)器學(xué)習(xí)生成的模型，應(yīng)該能夠很快地使用無代碼的方式發(fā)布，并供全機(jī)構(gòu)使用。

7. 數(shù)據(jù)能力共享管理

大部分?jǐn)?shù)據(jù)能力應(yīng)當(dāng)具有完善的共享管理機(jī)制、方便安全的共享機(jī)制以及靈活的反饋機(jī)制。最后決定數(shù)據(jù)如何使用的是獨(dú)立的個(gè)人，他們需要一套獲取信息的機(jī)制，因此在機(jī)構(gòu)內(nèi)部必須要有這樣的共享機(jī)制，才能真正讓數(shù)據(jù)用起來。

8. 完善的運(yùn)營(yíng)指標(biāo)

數(shù)據(jù)中臺(tái)強(qiáng)調(diào)的是可衡量的數(shù)據(jù)價(jià)值，因此，對(duì)于數(shù)據(jù)在系統(tǒng)中的使用方式、被使用的頻率、最后產(chǎn)生的效果，必須要有一定的運(yùn)營(yíng)指標(biāo)，才能驗(yàn)證數(shù)據(jù)的價(jià)值和數(shù)據(jù)中臺(tái)項(xiàng)目的效率。

綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認(rèn)為數(shù)據(jù)中臺(tái)還應(yīng)該滿足以下兩個(gè)要求。

1. TotalPlatform

所有中臺(tái)數(shù)據(jù)及相關(guān)的應(yīng)用應(yīng)該在統(tǒng)一平臺(tái)中統(tǒng)一管理。如果有數(shù)據(jù)存儲(chǔ)在中臺(tái)管理不到的地方，或者有人在中臺(tái)未知的情況下使用數(shù)據(jù)，我們就無法真正實(shí)現(xiàn)對(duì)數(shù)據(jù)的全局管理。這要求數(shù)據(jù)中臺(tái)能快速支持新的數(shù)據(jù)格式和數(shù)據(jù)應(yīng)用，便于數(shù)據(jù)工具的共享，而無須建立一個(gè)分離的系統(tǒng)。

2. TotalInsight

數(shù)據(jù)中臺(tái)應(yīng)該能夠理解并管理系統(tǒng)中數(shù)據(jù)的流動(dòng)，提供數(shù)據(jù)價(jià)值的定量衡量，明確各個(gè)部門的花費(fèi)和產(chǎn)出。整個(gè)中臺(tái)的運(yùn)營(yíng)是有序可控的，而不是一個(gè)黑盒子，用戶可以輕松理解全局的數(shù)據(jù)資產(chǎn)和能力，從系統(tǒng)中快速實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。

如圖1-3所示，數(shù)據(jù)中臺(tái)可以說是按照一定的規(guī)范要求建設(shè)的數(shù)據(jù)能力平臺(tái)，在數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用的建設(shè)中實(shí)現(xiàn)了符合OneID、OneModel、OneService的數(shù)據(jù)層。

這個(gè)數(shù)據(jù)層，加上在其上建立的業(yè)務(wù)能力層以及運(yùn)營(yíng)這個(gè)數(shù)據(jù)中臺(tái)需要的TotalPlatform、TotalInsight，形成我們看到的數(shù)據(jù)中臺(tái)。

▲圖1-3?數(shù)據(jù)中臺(tái)的五大要求

微軟每年豪砸安全研發(fā) 10 億美元，聊聊背后的技術(shù)密碼 何為“邊緣計(jì)算”？“一學(xué)就會(huì)”的微服務(wù)架構(gòu)模式 除了 k8s，留給 k 和 s 中間的數(shù)字不多了！ 到底是誰發(fā)明了物聯(lián)網(wǎng)？ 再見 Nacos，我要玩 Service Mesh 了！ 點(diǎn)分享點(diǎn)收藏點(diǎn)點(diǎn)贊點(diǎn)在看 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的数据中台 VS 传统大数据平台，这 8 点区别要了解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。