簡介： 數據中臺是傳統的數據倉庫的一種升級, 是數據采集、建設、管理與使用的一整套體系，Dataphin是一個構建數據中臺的強大工具, 核心優勢是在數據的建設與管理上引入了阿里巴巴多年來數據中臺建設沉淀出的OneModel方法論。

前言

數據中臺是當下大數據領域最前沿的數據建設體系, 它并不是從零開始, 無中生有的。數據中臺是傳統的數據倉庫的一種升級, 是數據采集、建設、管理與使用的一整套體系。Dataphin是一個構建數據中臺的強大工具, 核心優勢是在數據的建設與管理上引入了阿里巴巴多年來數據中臺建設沉淀出的OneModel方法論(OneData體系的組成部分之一)。本篇主講Dataphin核心功能規劃的設計理念。

OneModel

OneModel將數據中臺的建設分成四層:

主題域建模：在數據中臺, 主題對應一個宏觀的分析領域, 比如銷售分析就是分析"銷售"這個主題. 聯系較為緊密的主題的集合就是主題域. 每一個行業都可以拆分為有多個(十個左右不等)主題域組成的主題域模型。

概念建模：在主題域的基礎上, 每個主題域內增加了實體以及實體之間的關系。

邏輯建模：在概念模型的基礎上, 增加每個實體的屬性以及屬性的約束。

業務分析建模：行業中重要的以及常用的分析方法與分析視角. 在邏輯模型基礎上, 將業務分析問題轉換為Dataphin特有的派生指標, 并進一步提煉出原子指標和業務限定。

規劃

OneModel四層中的主題域建模和概念建模由Dataphin的規劃功能來承載實現。OneModel的四層不針對企業級數據中臺, 而是圍繞單個獨立業務來展開的, 多個獨立業務通過公共的維度來實現企業級數據中臺。因此, Dataphin的規劃功能還包括獨立業務的劃分, 即業務板塊的劃分。規劃并不會影響數據的準確性與產出時效, 而是一個重要的面向數據(資產)管理的功能, 會影響數據的查找, 理解與權限管控等多方面。

業務板塊

企業的規模有大有小, 業務復雜度和跨度也不同, 數據反映業務, 所以每個企業的數據中臺也是不同的。數據中臺建設的第一步是做規劃, 規劃的第一步是全盤梳理企業的業務架構, 將業務劃分為一個個獨立業務, 在Dataphin里面就是業務板塊的劃分。

業務板塊的劃分總原則是, 高內聚, 低耦合, 具體的流程如下:

考察企業的所有的業務流程, 如果兩個業務流程之間存在上下游的關系, 或者有共同的業務對象, 那么他們就應該被放到同一個業務板塊。比如, 采購流程(采購單)結束后, 一般會有物流(企業的進貨物流)這個流程. 物流是依賴采購的, 同時貨品是兩個流程共同的業務對象, 因此, 采購和物流就應當屬于同一個業務板塊. 將范圍擴大, 列舉出每個業務流程的上下游和業務對象, 直接或者間接的連接在一起的業務流程應當屬于同一個業務板塊. ?舉例: 零售業務中, 采購->采購物流->倉儲->銷售發貨, 營銷->銷售->履約->售后等, 有的有上下游的關系, 有的可以通過貨品連接到一起, 他們就屬于”零售”這一業務板塊。

反之, 如果兩個業務流程之間不存在任何直接或者間接的上下游關系, 也沒有直接或者間接共同的業務對象, 他們就不應當被放在同一個業務板塊。舉例: 同一個企業下, 可能有零售和地產. 地產業務中, 拿地->設計->開發->銷售等流程與零售的業務流程之間不存在上下游的關系, 也沒法通過某個業務對象連接到一起, 應當分別創建“零售”“地產”兩個業務板塊。

值得注意的是, 某些業務對象是企業級共用的, 比如, 公司的員工, 行政地理區劃(沒錯, 這個也屬于業務對象) 等, 這些會將整個公司的所有的業務流程連接到一個巨大的單一網絡中。因此, 先要識別出這些企業級的業務對象, 對于只通過這些業務對象連接在一起(而沒有上下游關系)的業務流程, 需要剪斷這種連接, 將他們歸屬到不同的業務板塊。

主題域建模

主題域建模, 即在業務板塊下進一步將業務劃分為多個主題域。主題域的劃分沒有客觀原則, 主要根據數據模型師的行業經驗與業務理解來劃分。具體以零售行業為例來說明。

零售行業的主題域劃分如下圖, 核心主題域為"人"、"貨"、"場":

公共主題域：在所有業務流程中都會被引用的數據, 如, 地理位置數據, 企業的人員組織數據

消費者(人)主題域：該主題域主要是零售企業內用戶(消費者)運營相關的業務活動數據

商品(貨)主題域：商品的管理(類目管理, 品牌管理等), 商品結構管理(組貨)等相關的業務活動數據

商家(場)主題域：包含線下門店, 線上電商(自營或者第三方)等售賣渠道相關的數據

流量主題域：消費者訪問店鋪等相關的數據

交易主題域：包含銷售訂單, 支付, 退款退貨等零售商與消費者之間契約形式的信息流與資金流數據

履約主題域：可選. 零售商按照契約(訂單)將商品配送給消費者, 是零售商到消費者的物流數據

服務主題域：主要是售后等數據

交互主題域：可選. 零售商與消費者之間非契約形式信息流數據. 如零售商在社交媒體上與消費者的互動, 消費者在電商平臺內的評論, 分享與收藏等

營銷主題域：廣告, 活動, 優惠券等數據

內容主題域：可選. 零售商以引流為目的所建設的內容, 比如, 商業軟文, 直播帶貨, 宣傳刊物等

供應鏈主題域：零售商與供應商之間的三流, 以及零售商內部的物流與信息流數據

概念建模

在主題域模型基礎上, 將每個主題域內的實體以及實體之間的關系構建出來的模型就是概念模型。

概念模型中有如下名詞:

實體：業務中的業務對象或者業務活動在數據世界的投射, 實體一般與數據表一一對應。某幾個實體可能具有相同的特征(表現為有很多相同的屬性), 這幾個實體可以抽象泛化為泛化實體, 泛化實體沒有對應的數據表。

業務對象：一種實體, 是參與業務的人和物品, 也可以是純粹的概念。比如: 消費者(人), 商品(物品), 類目(概念)等. 在Dataphin的某些版本中, 業務對象又被稱為"維度"。

業務活動：一種實體, 業務對象的變化行為或業務對象之間交互行為。比如: 訪問行為, 銷售行為等. 在Dataphin的某些版本中, 業務活動又被稱為"業務過程"。

實體關系：實體之間的關系, 主要有兩種
a. 一是引用關系, 某一個實體是另一個實體的屬性, 比如, 用戶實體中用戶有地址這個屬性, 而地址本身也是一個實體, 那么用戶實體就引用了地址實體; 再比如, 訂單實體中, 買家, 賣家, 商品都是訂單的參與實體, 訂單實體引用了買家實體, 賣家實體, 商品實體。從技術角度來說, 引用就是SQL中的"關聯"。引用關系又有三種類型, 一對一、一對多和多對多, 表示有引用關系的兩個實體的實例(記錄)之間的數量關系。
b. 二是繼承關系, 某一個實體A從屬于另一個實體B, 在概念上A比B更細化具體。比如, 在零售業務中, 可以定義一個實體為"用戶", "買家"與"會員"都是用戶, 但是更加具體(買家是有過交易的用戶, 會員是參與了會員項目的用戶), "買家"實體, "會員"實體繼承了"用戶"實體。

以上就是Dataphin的核心功能規劃背后的設計理念, 希望能幫助您更好的使用Dataphin規劃功能。

原文鏈接

本文為阿里云原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的【产品动态】一文详细解读智能数据构建产品Dataphin的“规划”功能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。