接上一篇業(yè)務(wù)洞察——從人貨場提煉電商數(shù)據(jù)指標(biāo)

數(shù)據(jù)指標(biāo)體系已經(jīng)提煉好了，接著就是想辦法落地實(shí)現(xiàn)。現(xiàn)在數(shù)據(jù)中臺是個流行詞匯，在技術(shù)思維里，重復(fù)的邏輯會被抽象為組件、服務(wù)或者系統(tǒng)，系統(tǒng)這個層級都包不住的，可以上升為中臺。數(shù)據(jù)中臺，顧名思義，是要對外(也就是多個使用方)提供統(tǒng)一的數(shù)據(jù)服務(wù)。我把數(shù)據(jù)中臺的建設(shè)簡單的劃分為數(shù)據(jù)建模、數(shù)據(jù)采集、ETL以及數(shù)據(jù)分析四個階段，這四個階段形成良性的迭代循環(huán)，推動整個數(shù)據(jù)中臺的持續(xù)進(jìn)化。

數(shù)據(jù)建模里的模型通常指的是多維模型，多維模型由事實(shí)表和維度表組成，我們要建的第一個多維模型是商品訂單模型，事實(shí)表里添加銷售額、毛利額、銷售件數(shù)這三個度量，毛利率作為計(jì)算指標(biāo)可以在數(shù)據(jù)分析階段再做處理。維度表精選了商品、用戶、渠道、場景、時間、訂單這6個，很顯然，訂單作為維度表是不合理的，膨脹的速度太快，需要把是否首單這類有價值的數(shù)據(jù)合并到事實(shí)表中。在前面提煉指標(biāo)的時候，我把渠道和場景放在了一起，實(shí)際上渠道和場景之間是并列的關(guān)系，不是隸屬關(guān)系，在這里需要拆分成兩個維度表。

我們要建的第二個多維模型是商品流量模型，事實(shí)表里添加商品展示次數(shù)、單品頁P(yáng)V、加車次數(shù)、下單次數(shù)、支付次數(shù)、支付金額這6個度量，UV、點(diǎn)擊率、轉(zhuǎn)化率、客單價作為計(jì)算指標(biāo)放到數(shù)據(jù)分析階段再做處理。維度表與商品訂單模型一樣，精選了商品、用戶、渠道、場景、時間這5個。

多維模型建好之后，需要盡快確認(rèn)上游數(shù)據(jù)是否存在，在這兩個模型里，需要的上游數(shù)據(jù)主要有訂單交易流水、流量日志、商品配置數(shù)據(jù)、商品成本數(shù)據(jù)、運(yùn)營費(fèi)用數(shù)據(jù)、渠道配置數(shù)據(jù)、場景配置數(shù)據(jù)以及用戶畫像數(shù)據(jù)。在這些上游數(shù)據(jù)里，訂單交易流水、商品配置數(shù)據(jù)、商品成本數(shù)據(jù)一般都會比較齊全，流量日志、渠道配置數(shù)據(jù)、場景配置數(shù)據(jù)、以及運(yùn)營費(fèi)用數(shù)據(jù)通常會比較散亂或者缺失，用戶畫像數(shù)據(jù)則可能根本就沒有。在這種情況下，我們需要對模型進(jìn)行精簡，先實(shí)現(xiàn)能找到上游數(shù)據(jù)的度量和維度，同時開啟支線任務(wù)去推動完善上游數(shù)據(jù)建設(shè)，這就是前面提到的迭代循環(huán)。

找到了上游數(shù)據(jù)源，接下來就到了秀技術(shù)能力的時候，先不講技術(shù)細(xì)節(jié)，我們繼續(xù)抽象，上游數(shù)據(jù)源和目標(biāo)數(shù)據(jù)模型之間的差異很大，直接用ETL一步到位，很容易被噎著，還會犧牲系統(tǒng)的穩(wěn)定性和模型的可復(fù)用性，基本上每新建一個模型都得從源頭上開始全程來一遍。所以需要在中間添加一些處理層，按照標(biāo)準(zhǔn)的數(shù)據(jù)倉庫建設(shè)流程，一般會在中間抽象出兩層，ODS層和DW層，ODS層會把各個異構(gòu)數(shù)據(jù)源中的相關(guān)業(yè)務(wù)數(shù)據(jù)都抽取上來，一般不做清洗和轉(zhuǎn)換，以保持與源數(shù)據(jù)的一致性。ODS層的數(shù)據(jù)經(jīng)過各種清洗、轉(zhuǎn)換和計(jì)算后，按照多維模型的形式進(jìn)入到DW層，俗稱的大寬表就在這一層，像每筆訂單中每個商品的成本計(jì)算結(jié)果、費(fèi)用計(jì)算結(jié)果和毛利計(jì)算結(jié)果都在這一層存著。在DW層之上再進(jìn)行匯總和處理，就進(jìn)到了目標(biāo)數(shù)據(jù)模型層，這一層一般被叫做DM層或者APP應(yīng)用層，到了這一層之后，為了方便后續(xù)的數(shù)據(jù)分析，也可以把這一層的數(shù)據(jù)存儲到關(guān)系型數(shù)據(jù)庫中。在之后就是數(shù)據(jù)分析，在數(shù)據(jù)分析這個環(huán)節(jié)，可以使用成熟的商業(yè)產(chǎn)品，像觀遠(yuǎn)的BI就非常好用。

簡單的總結(jié)，我們可以把數(shù)據(jù)中臺簡化為這個四層結(jié)構(gòu)，越往下就越穩(wěn)健，越往上就越靈活可變。這個層級結(jié)構(gòu)可以把整個數(shù)據(jù)中臺的維護(hù)成本降到最低，在數(shù)據(jù)分析層，借助像觀遠(yuǎn)BI這樣的成熟商業(yè)產(chǎn)品，只需要極少數(shù)的數(shù)據(jù)分析師，就能夠支持業(yè)務(wù)部門絕大部分的日常數(shù)據(jù)需求。維護(hù)成本降低后，就可以把數(shù)據(jù)組從之前繁瑣的報表開發(fā)工作中解放出來，投入到能產(chǎn)生更大價值的工作中，比如可以去持續(xù)的改進(jìn)數(shù)據(jù)模型，優(yōu)化集群性能，將更多的業(yè)務(wù)數(shù)據(jù)源納入到數(shù)據(jù)中臺，同時還可以去推動上游數(shù)據(jù)從源頭上加強(qiáng)建設(shè)。(技術(shù)實(shí)現(xiàn)后面展開講)

總結(jié)

以上是生活随笔為你收集整理的事实表和维度表是怎么造数据_从电商数据指标到电商数据中台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。