簡(jiǎn)介：數(shù)據(jù)中臺(tái)是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)的一種升級(jí), 是數(shù)據(jù)采集、建設(shè)、管理與使用的一整套體系，Dataphin是一個(gè)構(gòu)建數(shù)據(jù)中臺(tái)的強(qiáng)大工具, 核心優(yōu)勢(shì)是在數(shù)據(jù)的建設(shè)與管理上引入了阿里巴巴多年來(lái)數(shù)據(jù)中臺(tái)建設(shè)沉淀出的OneModel方法論。

前言

數(shù)據(jù)中臺(tái)是當(dāng)下大數(shù)據(jù)領(lǐng)域最前沿的數(shù)據(jù)建設(shè)體系, 它并不是從零開(kāi)始, 無(wú)中生有的。數(shù)據(jù)中臺(tái)是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)的一種升級(jí), 是數(shù)據(jù)采集、建設(shè)、管理與使用的一整套體系。Dataphin是一個(gè)構(gòu)建數(shù)據(jù)中臺(tái)的強(qiáng)大工具, 核心優(yōu)勢(shì)是在數(shù)據(jù)的建設(shè)與管理上引入了阿里巴巴多年來(lái)數(shù)據(jù)中臺(tái)建設(shè)沉淀出的OneModel方法論(OneData體系的組成部分之一)。本篇主講Dataphin核心功能規(guī)劃的設(shè)計(jì)理念。

OneModel

OneModel將數(shù)據(jù)中臺(tái)的建設(shè)分成四層:

主題域建模：在數(shù)據(jù)中臺(tái), 主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域, 比如銷(xiāo)售分析就是分析"銷(xiāo)售"這個(gè)主題. 聯(lián)系較為緊密的主題的集合就是主題域. 每一個(gè)行業(yè)都可以拆分為有多個(gè)(十個(gè)左右不等)主題域組成的主題域模型。

概念建模：在主題域的基礎(chǔ)上, 每個(gè)主題域內(nèi)增加了實(shí)體以及實(shí)體之間的關(guān)系。

邏輯建模：在概念模型的基礎(chǔ)上, 增加每個(gè)實(shí)體的屬性以及屬性的約束。

業(yè)務(wù)分析建模：行業(yè)中重要的以及常用的分析方法與分析視角. 在邏輯模型基礎(chǔ)上, 將業(yè)務(wù)分析問(wèn)題轉(zhuǎn)換為Dataphin特有的派生指標(biāo), 并進(jìn)一步提煉出原子指標(biāo)和業(yè)務(wù)限定。

規(guī)劃

OneModel四層中的主題域建模和概念建模由Dataphin的規(guī)劃功能來(lái)承載實(shí)現(xiàn)。OneModel的四層不針對(duì)企業(yè)級(jí)數(shù)據(jù)中臺(tái), 而是圍繞單個(gè)獨(dú)立業(yè)務(wù)來(lái)展開(kāi)的, 多個(gè)獨(dú)立業(yè)務(wù)通過(guò)公共的維度來(lái)實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)中臺(tái)。因此, Dataphin的規(guī)劃功能還包括獨(dú)立業(yè)務(wù)的劃分, 即業(yè)務(wù)板塊的劃分。規(guī)劃并不會(huì)影響數(shù)據(jù)的準(zhǔn)確性與產(chǎn)出時(shí)效, 而是一個(gè)重要的面向數(shù)據(jù)(資產(chǎn))管理的功能, 會(huì)影響數(shù)據(jù)的查找, 理解與權(quán)限管控等多方面。

業(yè)務(wù)板塊

企業(yè)的規(guī)模有大有小, 業(yè)務(wù)復(fù)雜度和跨度也不同, 數(shù)據(jù)反映業(yè)務(wù), 所以每個(gè)企業(yè)的數(shù)據(jù)中臺(tái)也是不同的。數(shù)據(jù)中臺(tái)建設(shè)的第一步是做規(guī)劃, 規(guī)劃的第一步是全盤(pán)梳理企業(yè)的業(yè)務(wù)架構(gòu), 將業(yè)務(wù)劃分為一個(gè)個(gè)獨(dú)立業(yè)務(wù), 在Dataphin里面就是業(yè)務(wù)板塊的劃分。

業(yè)務(wù)板塊的劃分總原則是, 高內(nèi)聚, 低耦合, 具體的流程如下:

考察企業(yè)的所有的業(yè)務(wù)流程, 如果兩個(gè)業(yè)務(wù)流程之間存在上下游的關(guān)系, 或者有共同的業(yè)務(wù)對(duì)象, 那么他們就應(yīng)該被放到同一個(gè)業(yè)務(wù)板塊。比如, 采購(gòu)流程(采購(gòu)單)結(jié)束后, 一般會(huì)有物流(企業(yè)的進(jìn)貨物流)這個(gè)流程. 物流是依賴(lài)采購(gòu)的, 同時(shí)貨品是兩個(gè)流程共同的業(yè)務(wù)對(duì)象, 因此, 采購(gòu)和物流就應(yīng)當(dāng)屬于同一個(gè)業(yè)務(wù)板塊. 將范圍擴(kuò)大, 列舉出每個(gè)業(yè)務(wù)流程的上下游和業(yè)務(wù)對(duì)象, 直接或者間接的連接在一起的業(yè)務(wù)流程應(yīng)當(dāng)屬于同一個(gè)業(yè)務(wù)板塊. 舉例: 零售業(yè)務(wù)中, 采購(gòu)->采購(gòu)物流->倉(cāng)儲(chǔ)->銷(xiāo)售發(fā)貨, 營(yíng)銷(xiāo)->銷(xiāo)售->履約->售后等, 有的有上下游的關(guān)系, 有的可以通過(guò)貨品連接到一起, 他們就屬于”零售”這一業(yè)務(wù)板塊。

反之, 如果兩個(gè)業(yè)務(wù)流程之間不存在任何直接或者間接的上下游關(guān)系, 也沒(méi)有直接或者間接共同的業(yè)務(wù)對(duì)象, 他們就不應(yīng)當(dāng)被放在同一個(gè)業(yè)務(wù)板塊。舉例: 同一個(gè)企業(yè)下, 可能有零售和地產(chǎn). 地產(chǎn)業(yè)務(wù)中, 拿地->設(shè)計(jì)->開(kāi)發(fā)->銷(xiāo)售等流程與零售的業(yè)務(wù)流程之間不存在上下游的關(guān)系, 也沒(méi)法通過(guò)某個(gè)業(yè)務(wù)對(duì)象連接到一起, 應(yīng)當(dāng)分別創(chuàng)建“零售”“地產(chǎn)”兩個(gè)業(yè)務(wù)板塊。

值得注意的是, 某些業(yè)務(wù)對(duì)象是企業(yè)級(jí)共用的, 比如, 公司的員工, 行政地理區(qū)劃(沒(méi)錯(cuò), 這個(gè)也屬于業(yè)務(wù)對(duì)象) 等, 這些會(huì)將整個(gè)公司的所有的業(yè)務(wù)流程連接到一個(gè)巨大的單一網(wǎng)絡(luò)中。因此, 先要識(shí)別出這些企業(yè)級(jí)的業(yè)務(wù)對(duì)象, 對(duì)于只通過(guò)這些業(yè)務(wù)對(duì)象連接在一起(而沒(méi)有上下游關(guān)系)的業(yè)務(wù)流程, 需要剪斷這種連接, 將他們歸屬到不同的業(yè)務(wù)板塊。

主題域建模

主題域建模, 即在業(yè)務(wù)板塊下進(jìn)一步將業(yè)務(wù)劃分為多個(gè)主題域。主題域的劃分沒(méi)有客觀原則, 主要根據(jù)數(shù)據(jù)模型師的行業(yè)經(jīng)驗(yàn)與業(yè)務(wù)理解來(lái)劃分。具體以零售行業(yè)為例來(lái)說(shuō)明。

零售行業(yè)的主題域劃分如下圖, 核心主題域?yàn)?#34;人"、"貨"、"場(chǎng)":

公共主題域：在所有業(yè)務(wù)流程中都會(huì)被引用的數(shù)據(jù), 如, 地理位置數(shù)據(jù), 企業(yè)的人員組織數(shù)據(jù)

消費(fèi)者(人)主題域：該主題域主要是零售企業(yè)內(nèi)用戶(hù)(消費(fèi)者)運(yùn)營(yíng)相關(guān)的業(yè)務(wù)活動(dòng)數(shù)據(jù)

商品(貨)主題域：商品的管理(類(lèi)目管理, 品牌管理等), 商品結(jié)構(gòu)管理(組貨)等相關(guān)的業(yè)務(wù)活動(dòng)數(shù)據(jù)

商家(場(chǎng))主題域：包含線(xiàn)下門(mén)店, 線(xiàn)上電商(自營(yíng)或者第三方)等售賣(mài)渠道相關(guān)的數(shù)據(jù)

流量主題域：消費(fèi)者訪(fǎng)問(wèn)店鋪等相關(guān)的數(shù)據(jù)

交易主題域：包含銷(xiāo)售訂單, 支付, 退款退貨等零售商與消費(fèi)者之間契約形式的信息流與資金流數(shù)據(jù)

履約主題域：可選. 零售商按照契約(訂單)將商品配送給消費(fèi)者, 是零售商到消費(fèi)者的物流數(shù)據(jù)

服務(wù)主題域：主要是售后等數(shù)據(jù)

交互主題域：可選. 零售商與消費(fèi)者之間非契約形式信息流數(shù)據(jù). 如零售商在社交媒體上與消費(fèi)者的互動(dòng), 消費(fèi)者在電商平臺(tái)內(nèi)的評(píng)論, 分享與收藏等

營(yíng)銷(xiāo)主題域：廣告, 活動(dòng), 優(yōu)惠券等數(shù)據(jù)

內(nèi)容主題域：可選. 零售商以引流為目的所建設(shè)的內(nèi)容, 比如, 商業(yè)軟文, 直播帶貨, 宣傳刊物等

供應(yīng)鏈主題域：零售商與供應(yīng)商之間的三流, 以及零售商內(nèi)部的物流與信息流數(shù)據(jù)

概念建模

在主題域模型基礎(chǔ)上, 將每個(gè)主題域內(nèi)的實(shí)體以及實(shí)體之間的關(guān)系構(gòu)建出來(lái)的模型就是概念模型。

概念模型中有如下名詞:

實(shí)體：業(yè)務(wù)中的業(yè)務(wù)對(duì)象或者業(yè)務(wù)活動(dòng)在數(shù)據(jù)世界的投射, 實(shí)體一般與數(shù)據(jù)表一一對(duì)應(yīng)。某幾個(gè)實(shí)體可能具有相同的特征(表現(xiàn)為有很多相同的屬性), 這幾個(gè)實(shí)體可以抽象泛化為泛化實(shí)體, 泛化實(shí)體沒(méi)有對(duì)應(yīng)的數(shù)據(jù)表。

業(yè)務(wù)對(duì)象：一種實(shí)體, 是參與業(yè)務(wù)的人和物品, 也可以是純粹的概念。比如: 消費(fèi)者(人), 商品(物品), 類(lèi)目(概念)等. 在Dataphin的某些版本中, 業(yè)務(wù)對(duì)象又被稱(chēng)為"維度"。

業(yè)務(wù)活動(dòng)：一種實(shí)體, 業(yè)務(wù)對(duì)象的變化行為或業(yè)務(wù)對(duì)象之間交互行為。比如: 訪(fǎng)問(wèn)行為, 銷(xiāo)售行為等. 在Dataphin的某些版本中, 業(yè)務(wù)活動(dòng)又被稱(chēng)為"業(yè)務(wù)過(guò)程"。

實(shí)體關(guān)系：實(shí)體之間的關(guān)系, 主要有兩種
a. 一是引用關(guān)系, 某一個(gè)實(shí)體是另一個(gè)實(shí)體的屬性, 比如, 用戶(hù)實(shí)體中用戶(hù)有地址這個(gè)屬性, 而地址本身也是一個(gè)實(shí)體, 那么用戶(hù)實(shí)體就引用了地址實(shí)體; 再比如, 訂單實(shí)體中, 買(mǎi)家, 賣(mài)家, 商品都是訂單的參與實(shí)體, 訂單實(shí)體引用了買(mǎi)家實(shí)體, 賣(mài)家實(shí)體, 商品實(shí)體。從技術(shù)角度來(lái)說(shuō), 引用就是SQL中的"關(guān)聯(lián)"。引用關(guān)系又有三種類(lèi)型, 一對(duì)一、一對(duì)多和多對(duì)多, 表示有引用關(guān)系的兩個(gè)實(shí)體的實(shí)例(記錄)之間的數(shù)量關(guān)系。
b. 二是繼承關(guān)系, 某一個(gè)實(shí)體A從屬于另一個(gè)實(shí)體B, 在概念上A比B更細(xì)化具體。比如, 在零售業(yè)務(wù)中, 可以定義一個(gè)實(shí)體為"用戶(hù)", "買(mǎi)家"與"會(huì)員"都是用戶(hù), 但是更加具體(買(mǎi)家是有過(guò)交易的用戶(hù), 會(huì)員是參與了會(huì)員項(xiàng)目的用戶(hù)), "買(mǎi)家"實(shí)體, "會(huì)員"實(shí)體繼承了"用戶(hù)"實(shí)體。

以上就是Dataphin的核心功能規(guī)劃背后的設(shè)計(jì)理念, 希望能幫助您更好的使用Dataphin規(guī)劃功能。

原文鏈接：https://developer.aliyun.com/article/784988?

版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶(hù)自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開(kāi)發(fā)者社區(qū)用戶(hù)服務(wù)協(xié)議》和《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě)侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的详解数据中台构建核心产品Dataphin“ 规划”能力的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。