簡介：?今天主要給大家介紹一站式數(shù)據(jù)管理平臺DMS以及解決方案的發(fā)布。議題包含企業(yè)數(shù)據(jù)管理當(dāng)前的一些痛，DMS一站式數(shù)據(jù)管理平臺以及其核心技術(shù)，實時數(shù)倉解決方案以及相應(yīng)的應(yīng)用實踐。

“數(shù)聚云端·智馭未來”——阿里云數(shù)據(jù)庫創(chuàng)新上云峰會暨第3屆數(shù)據(jù)庫性能挑戰(zhàn)賽決賽頒獎典禮已圓滿結(jié)束，更多干貨內(nèi)容歡迎大家觀看峰會直播回放。

峰會直播回放📎數(shù)聚云端 · 智馭未來——阿里云數(shù)據(jù)庫創(chuàng)新上云峰會-技術(shù)公開課-阿里云開發(fā)者社區(qū)

干貨PPT下載📎文件下載-阿里云開發(fā)者社區(qū)

中國數(shù)字經(jīng)濟的占比在持續(xù)的提升，在企業(yè)經(jīng)營管理過程中行業(yè)的頭部集中效應(yīng)使得精細(xì)化運營成為一個非常重要的話題，那么企業(yè)的數(shù)字價值挖掘就變得越來越重要。

回看一個企業(yè)內(nèi)部整個數(shù)據(jù)生產(chǎn)的生命周期，包含的數(shù)據(jù)生產(chǎn)與存儲，數(shù)據(jù)的處理和分析以及數(shù)據(jù)應(yīng)用，但實際上很少有一個平臺把這三個方面全部打通做成統(tǒng)一支撐的平臺。大部分企業(yè)隨著各個業(yè)務(wù)的發(fā)展會產(chǎn)生根據(jù)業(yè)務(wù)特點定義的數(shù)據(jù)存儲生產(chǎn)系統(tǒng)，企業(yè)的數(shù)倉分析也大部分是獨立建設(shè)的，在這個過程中如何實現(xiàn)數(shù)據(jù)系統(tǒng)之間的打通和價值挖掘,就變成比較困難的問題。所以在各個報告里面我們看到在2022年新業(yè)務(wù)使用實時數(shù)據(jù)的占比會達到50%以上。

企業(yè)在真正實踐過程中就會遇到數(shù)據(jù)孤島以及管理數(shù)據(jù)的問題，數(shù)據(jù)庫類型非常多，數(shù)據(jù)鏈路的加工過程就非常復(fù)雜，維護成本非常高，穩(wěn)定性的問題挑戰(zhàn)很大。如何進行多種異構(gòu)數(shù)據(jù)的統(tǒng)一管理，如何去做安全治理都變成很有挑戰(zhàn)的問題。在這個背景下阿里云數(shù)據(jù)庫提出了一站式數(shù)據(jù)管理平臺DMS理念。

DMS統(tǒng)一管理企業(yè)的數(shù)據(jù)資產(chǎn)，包括數(shù)據(jù)庫的開發(fā)和設(shè)計、數(shù)據(jù)集成與加工、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用，整個過程全面打通。從架構(gòu)圖看到，底層對接各種異構(gòu)的數(shù)據(jù)源，在中間沉淀了類似數(shù)據(jù)血緣，數(shù)據(jù)治理，數(shù)據(jù)編排，和任務(wù)調(diào)度，這些都會成為我們中間很重要的數(shù)據(jù)支撐能力。上層我們會把應(yīng)用的場景產(chǎn)品化，比如數(shù)據(jù)安全管理，容災(zāi)/多活能力，數(shù)據(jù)歸檔、實時數(shù)倉構(gòu)建等等一些能力產(chǎn)品化，這樣就可以讓更多的企業(yè)低門檻去使用數(shù)據(jù)解決方案。

整體技術(shù)的架構(gòu)分三層建設(shè)，底層基礎(chǔ)服務(wù)提供數(shù)據(jù)安全體系，數(shù)據(jù)資產(chǎn)管理的體系，開發(fā)運營體系。中間的支撐引擎主要分成管控平面和數(shù)據(jù)平面兩個部分，控制平面包含任務(wù)執(zhí)行引擎以及穩(wěn)定變更相關(guān)的引擎建設(shè)；數(shù)據(jù)平面包含數(shù)據(jù)結(jié)構(gòu)的遷移，全量/批的數(shù)據(jù)同步以及實時的流的數(shù)據(jù)同步、數(shù)據(jù)轉(zhuǎn)換，以及多源異構(gòu)的聯(lián)邦查詢能力。上層是業(yè)務(wù)功能，主要面向像數(shù)據(jù)安全、數(shù)據(jù)庫的DevOps，包括數(shù)據(jù)集成和數(shù)據(jù)開發(fā)相關(guān)的應(yīng)用場景。

DMS包含了幾個重要的核心技術(shù)特性，主要包括數(shù)據(jù)資產(chǎn)與安全，數(shù)據(jù)庫DevOps能力以及數(shù)據(jù)集成與開發(fā)。

在整個數(shù)據(jù)資產(chǎn)與安全方面，其實最核心構(gòu)建的是整個全域數(shù)據(jù)資產(chǎn)管理，讓企業(yè)數(shù)據(jù)不需要進行物理集中就能夠快速找到所要的數(shù)據(jù)進行數(shù)據(jù)資產(chǎn)的治理，同時能夠讓數(shù)據(jù)本身的管理覆蓋整個生命周期的安全。

展開兩個點來講，一個是數(shù)據(jù)的知識圖譜的構(gòu)建。我們會把業(yè)務(wù)數(shù)據(jù)以及它真正的物理元數(shù)據(jù)全部都采集回來讓業(yè)務(wù)能夠打標(biāo)，用schema matching相關(guān)的技術(shù)去學(xué)習(xí)數(shù)據(jù)之間字段之間的關(guān)聯(lián)關(guān)系，把業(yè)務(wù)的邏輯定義和物理定義映射起來。同時業(yè)務(wù)在使用DMS開發(fā)平臺過程中會沉淀人員、數(shù)據(jù)和權(quán)限相關(guān)的一些關(guān)聯(lián)關(guān)系以及業(yè)務(wù)相關(guān)領(lǐng)域的數(shù)據(jù)標(biāo)記，這些東西會構(gòu)建成整個數(shù)據(jù)資產(chǎn)關(guān)聯(lián)關(guān)系知識圖譜，這個知識圖譜就可以應(yīng)用在多源異構(gòu)的各種數(shù)據(jù)類型，怎么樣去根據(jù)業(yè)務(wù)的要求去做一個數(shù)倉的寬表，那么數(shù)據(jù)之間關(guān)聯(lián)關(guān)系的構(gòu)建過程中，企業(yè)的數(shù)據(jù)工程師就不需要對所有的數(shù)據(jù)模型非常的熟悉，因為DMS能夠把這些能力提前的沉淀到系統(tǒng)里面，進行選擇篩選過濾，就得到這個數(shù)倉的寬表，以及可以通過這個知識圖譜的能力能夠讓企業(yè)的數(shù)據(jù)治理數(shù)據(jù)安全管理變得更加的可控。

關(guān)于敏感數(shù)據(jù)識別，企業(yè)內(nèi)部的所有數(shù)據(jù)進行統(tǒng)一管理后，平臺就可以幫你自動把數(shù)據(jù)進行分級分類，在分級分類的基礎(chǔ)上可以進行包括GDPR的在內(nèi)的五種法案的敏感數(shù)據(jù)自動識別自動發(fā)現(xiàn)，企業(yè)可以使用我們超過15種的脫敏算法在應(yīng)用生產(chǎn)過程中。我們也提供了安全代理的能力，讓企業(yè)不需要有數(shù)據(jù)庫的賬號也可以動態(tài)的實現(xiàn)數(shù)據(jù)的查詢和脫敏。

第二個部分的核心能力是DevOps，安全和整個開發(fā)平臺是結(jié)合在一起的。我們的整個平臺其實有點像workbench是面向開發(fā)者的，底下對接著非常多的數(shù)據(jù)源，上面提供豐富的開發(fā)者開發(fā)工具集，因此DMS的平臺在云上已經(jīng)有超過10萬個周活用戶，它會幫助用戶去做數(shù)據(jù)庫的表結(jié)構(gòu)設(shè)計，數(shù)據(jù)變更，以及相關(guān)的發(fā)布。我們提供安全規(guī)則引擎，它會內(nèi)嵌在企業(yè)數(shù)據(jù)庫開發(fā)的整個操作過程中，開發(fā)者會在一個受控的權(quán)限體系里面獲得最大的便利性，安全和效率得到很好的平衡，這是整個設(shè)計的核心的理念。

安全規(guī)則引擎本質(zhì)是把企業(yè)的結(jié)構(gòu)設(shè)計、數(shù)據(jù)變更、數(shù)據(jù)導(dǎo)出等等操作和操作的具體對象，比如對應(yīng)的數(shù)據(jù)庫類型（每種數(shù)據(jù)庫類型可能都有不一樣的最佳實踐），以及對應(yīng)的工單人員等等串起來，形成操作人、操作動作、操作對象相關(guān)的權(quán)限映射。阿里內(nèi)部沉淀了超過兩百多的研發(fā)規(guī)范模板可以默認(rèn)使用，也可以由企業(yè)內(nèi)部根據(jù)需求來定義自己的DSL，能夠很方便的去定義安全規(guī)則能力。

在變更部分也實現(xiàn)了變更安全能力，變更安全可以理解是企業(yè)變更發(fā)布過程中的安全能力，包括像SQL安全的審核，以及正式的SQL執(zhí)行的過程中，對于表結(jié)構(gòu)或者大批量數(shù)據(jù)操作，變成多次的小批量，通過SQL自動改寫防止源庫的穩(wěn)定性抖動，包括表結(jié)構(gòu)的變更的鎖表的問題變成不鎖表變更，等等一些細(xì)粒度的變更安全的把控。

再往下其實就是要去發(fā)揮數(shù)據(jù)價值，我們重點建設(shè)像流批一體這樣的數(shù)據(jù)傳輸鏈路，包括低代碼的開發(fā)平臺，通過多引擎的計算能力的支持來構(gòu)建整個數(shù)據(jù)集成與開發(fā)的能力。

整個DMS底下的數(shù)據(jù)傳輸會基于阿里云底層建設(shè)的數(shù)據(jù)傳輸服務(wù)，傳輸服務(wù)DTS是主流云廠商中最早發(fā)布的數(shù)據(jù)傳輸產(chǎn)品，它實現(xiàn)了多源異構(gòu)數(shù)據(jù)的實時傳輸，在實時性以及穩(wěn)定性上面已經(jīng)經(jīng)過很好的錘煉。

在結(jié)構(gòu)遷移全量以及增量的整個鏈路實現(xiàn)了完整的實時數(shù)據(jù)的傳輸，同時對于半結(jié)構(gòu)或者是非結(jié)構(gòu)化數(shù)據(jù)也會通過語義的識別，元數(shù)據(jù)的自動構(gòu)建，包括數(shù)據(jù)類型的自定義，去構(gòu)建數(shù)據(jù)的快速入庫和入倉，把這些數(shù)據(jù)變成可分析可使用的一種數(shù)據(jù)資產(chǎn)。

整個流批一體的數(shù)據(jù)架構(gòu)最主要的是整個體系建設(shè)里面使用了Recored Store內(nèi)存數(shù)據(jù)處理的模塊，流和批處理轉(zhuǎn)換一致，整個數(shù)據(jù)加工處理過程變得很簡單。

在數(shù)據(jù)開發(fā)者的界面上，我們提供了拖拉拽的方式去定義數(shù)據(jù)的加工流程，數(shù)據(jù)源以及SQL操作的節(jié)點，數(shù)據(jù)傳輸?shù)墓?jié)點，數(shù)據(jù)轉(zhuǎn)換都變成可以通過拖拉拽去定義。企業(yè)的應(yīng)用工程師、數(shù)據(jù)庫開發(fā)者都可以去做這種數(shù)據(jù)加工定義。

阿里云實時數(shù)倉構(gòu)建解決方案中使用的是庫倉一體的技術(shù)架構(gòu)，就是數(shù)據(jù)庫和數(shù)據(jù)倉庫是一體化統(tǒng)一管理的技術(shù)架構(gòu)。相比以前很多做數(shù)據(jù)鏈路時會把在線數(shù)據(jù)拉到一個離線存儲去計算，再把計算結(jié)果回流到在線生產(chǎn)系統(tǒng)里面，這個流程非常長，數(shù)據(jù)鏈路和存儲成本都會相應(yīng)的比較高。我們實時數(shù)倉構(gòu)建的解決方案是在你做全量數(shù)據(jù)初始化的時候不需要在目標(biāo)端進行表結(jié)構(gòu)的初始化，我們在批量數(shù)據(jù)過程中會幫你把表結(jié)構(gòu)自動在目標(biāo)構(gòu)建。做增量數(shù)據(jù)過程中，源端發(fā)生任何的表結(jié)構(gòu)變更或者源端的主備切換等變更，都不會影響整個鏈路的穩(wěn)定性，會在目標(biāo)端實現(xiàn)這個表結(jié)構(gòu)的同步，對整個鏈路自動透明掉。

接下來通過兩分鐘視頻了解DMS實時數(shù)倉構(gòu)建解決方案。如何通過數(shù)據(jù)來提升生產(chǎn)力成了企業(yè)不斷探索的方向，而數(shù)據(jù)倉庫在其中發(fā)揮著關(guān)鍵作用。傳統(tǒng)數(shù)倉一般基于T+1數(shù)據(jù)集成，構(gòu)建離線數(shù)倉以支撐企業(yè)各項分析與服務(wù)，該方案不但會影響線上業(yè)務(wù)穩(wěn)定性，且難以支持企業(yè)高頻變化的實時需求，企業(yè)由此開始建設(shè)實時數(shù)倉。那么怎樣構(gòu)建一個企業(yè)及實時數(shù)倉呢？接下來為大家介紹如何通過阿里云一站式數(shù)據(jù)管理平臺DMS和云原生實時數(shù)據(jù)倉庫VB引擎來構(gòu)建與在線系統(tǒng)增刪改的延時保持在一秒內(nèi)的實時數(shù)倉DMS支持兩種實時數(shù)倉構(gòu)建方案，實時數(shù)據(jù)入倉及基于實時拉鏈表的T+1周期性快照。

其中實時數(shù)據(jù)入倉支持兩種方式。方式一，通過DMS實現(xiàn)歷史全量+增量數(shù)據(jù)實時同步至ADB 實時數(shù)倉。方式二，通過DMS數(shù)據(jù)傳輸與加工模塊進行實時數(shù)據(jù)加工后寫入ADB實時數(shù)倉。為了滿足業(yè)務(wù)上對于T+1快照數(shù)據(jù)需求，DMS推出了一種不影響線上業(yè)務(wù)的T+1周期性快照方案。下面介紹該方案使用方式。

通過DMS與工單模式可快速搭建基于實時數(shù)據(jù)的周期性快照，既能支持小時/天維度的快照分析，也能夠支持回溯任意業(yè)務(wù)時間點進行分析，從而支持業(yè)務(wù)側(cè)按不同時間統(tǒng)計總存款、總余額、總訂單額等場景需求。

阿里云實時數(shù)倉構(gòu)建方案相較其他方案提供了如下優(yōu)勢，一、數(shù)據(jù)時效性高，且實時鏈路對業(yè)務(wù)側(cè)影響小，不會因為批量拉取數(shù)據(jù)影響業(yè)務(wù)側(cè)正常運行。二、實現(xiàn)庫倉一體的一站式數(shù)據(jù)管理，源端運維變更對鏈路無感知，保障多元數(shù)據(jù)匯聚時效性、穩(wěn)定性和全鏈路血緣。三、內(nèi)置復(fù)雜實時數(shù)據(jù)加工、計算邏輯、處理鏈路短。四、低代碼操作能夠大大降低實時數(shù)倉的構(gòu)建難度，提升構(gòu)建效率的同時，支撐企業(yè)數(shù)字化轉(zhuǎn)型過程中的各類實時場景。

下面介紹兩個實踐，第一個案例：某汽車廠商使用DMS+ADB的解決方案來構(gòu)建數(shù)據(jù)集市和營銷平臺。

第二個案例：某銀行使用DMS+ADB構(gòu)建T+1數(shù)據(jù)倉庫的解決方案。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的内含干货PPT下载｜一站式数据管理DMS及最新解决方案发布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。