在美團點評酒旅事業(yè)群內(nèi)，業(yè)務由傳統(tǒng)的團購形式轉(zhuǎn)向預訂、直連等更加豐富的產(chǎn)品形式，業(yè)務系統(tǒng)也在迅速的迭代變化，這些都對數(shù)據(jù)倉庫的擴展性、穩(wěn)定性、易用性提出了更高要求。對此，我們采取了分層次、分主題的方式，本文將分享這一過程中的一些經(jīng)驗。

技術(shù)架構(gòu)

隨著美團點評整體的系統(tǒng)架構(gòu)調(diào)整，我們在分層次建設數(shù)據(jù)倉庫的過程中，不斷優(yōu)化并調(diào)整我們的層次結(jié)構(gòu)，下圖展示了技術(shù)架構(gòu)的變遷。

我們把它們簡稱為三代數(shù)倉模型層次。在第一代數(shù)倉模型層次中，由于當時美團整體的業(yè)務系統(tǒng)所支持的產(chǎn)品形式比較單一（團購），業(yè)務系統(tǒng)中包含了所有業(yè)務品類的數(shù)據(jù)，所以由平臺的角色來加工數(shù)據(jù)倉庫基礎層是非常合適的，平臺統(tǒng)一建設，支持各個業(yè)務線使用，所以在本階段中我們酒旅只是建立了一個相對比較簡單的數(shù)據(jù)集市。

但隨著美團原本集中的業(yè)務系統(tǒng)不能快速響應各個業(yè)務線迅速的發(fā)展與業(yè)務變化時，酒旅中的酒店業(yè)務線開始有了自己的業(yè)務系統(tǒng)來支持預訂、房惠、團購、直連等產(chǎn)品形式，境內(nèi)度假業(yè)務線也開始有了自己的業(yè)務系統(tǒng)來支持門票預訂、門票直連、跟團游等復雜業(yè)務。我們開始了第二代數(shù)倉模型層次的建設，由建設數(shù)據(jù)集市的形式轉(zhuǎn)變成了直接建設酒旅數(shù)據(jù)倉庫，成為了酒旅自身業(yè)務系統(tǒng)數(shù)據(jù)的唯一加工者。由于系統(tǒng)調(diào)整初期給我們帶來的重構(gòu)、修改以及新增等數(shù)據(jù)處理工作非常大，我們采用了比較短平快的Kimball所提的維度建模的方式建設了酒旅數(shù)據(jù)倉庫。

在第二代數(shù)倉模型層次運轉(zhuǎn)一段時間后，我們的業(yè)務又迎來了一個巨大的變化，上海團隊和我們?nèi)诤狭?#xff0c;同時我們酒旅自身的業(yè)務系統(tǒng)重構(gòu)的頻率相對較高，對我們的數(shù)倉模型穩(wěn)定性造成了非常大的影響，原本的維度模型非常難適配這么迅速的變化。下圖就是我們數(shù)倉模型當時所面臨的挑戰(zhàn)：

于是我們在ODS與多維明細層中間加入了數(shù)據(jù)整合層，參照Bill Inmon所提出的企業(yè)信息工廠建設的模式，基本按照三范式的原則來進行數(shù)據(jù)整合，由業(yè)務驅(qū)動調(diào)整成了由技術(shù)驅(qū)動的方式來建設數(shù)據(jù)倉庫基礎層。下圖是該層次的一些描述：

使用本基礎層的最根本出發(fā)點還是在于我們的供應鏈、業(yè)務、數(shù)據(jù)它們本身的多樣性，如果業(yè)務、數(shù)據(jù)相對比較單一、簡單，本層次的架構(gòu)方案很可能將不再適用。

業(yè)務架構(gòu)

下面介紹我們的主題建設，實際上在傳統(tǒng)的一些如銀行、制造業(yè)、電信、零售等行業(yè)里，都有一些比較成熟的模型，如耳熟能詳?shù)腂DWM、FS-LDM、MLDM等等模型，它們都是經(jīng)過一些具有相類似行業(yè)的企業(yè)在二三十年數(shù)據(jù)倉庫建設中所積累的行業(yè)經(jīng)驗，不斷的優(yōu)化并通用化。但我們所處的O2O行業(yè)本身就沒有可借鑒的成熟的數(shù)據(jù)倉庫主題以及模型，所以，我們在摸索建設兩年的時間里，我們目前總結(jié)了下面比較適合我們現(xiàn)狀的七大主題（后續(xù)可能還會新增）：

參與人主題

用戶子主題：使用我們服務的所有人都是我們的用戶，這是我們數(shù)據(jù)中至關(guān)重要的實體，也是我們數(shù)倉中非常重要的一個主題，對用戶數(shù)據(jù)的系統(tǒng)化建設能夠很好的幫助我們企業(yè)快速的發(fā)展，不斷提高用戶的體驗、擴大我們的用戶群。

BD子主題：通過BD的業(yè)務擴展，建立我們與商戶之間的關(guān)系，讓用戶通過我們的服務訪問到商戶所發(fā)布的信息，對BD數(shù)據(jù)的建設，能夠讓我們的商戶覆蓋更加迅速、讓我們和商戶之間的關(guān)系更加緊密。

供應商子主題：供應商無論作為直簽還是作為三方簽約對象，對我們的業(yè)務發(fā)展都非常重要，通過對其數(shù)據(jù)的建設，可以讓我們彼此雙贏，通過我們的平臺讓雙方的業(yè)務迅速發(fā)展。

流量主題

用戶通過App或PC或I版、微信等等形式訪問我們的服務，形成了對我們企業(yè)至關(guān)重要的流量，本主題也是比較具有互聯(lián)網(wǎng)特色的主題，對于流量的數(shù)據(jù)建設能夠讓我們不斷優(yōu)化我們的產(chǎn)品、服務，給我們帶來更多的流量、更快的擴張。

訂單主題

當用戶給我們帶來流量的同時，他們也會產(chǎn)生交易，訂單主題的獨立建設以及其重要性我這里就不再贅述了，在所有的互聯(lián)網(wǎng)以及傳統(tǒng)公司里，該主題都是至關(guān)重要的。

POI主題

這個主題也具有我們自身的O2O特色，實際上這個主題與阿里的商家主題比較類似但又具備自己的特點，對于POI自身的重要性就不再過多介紹，通過對POI的數(shù)據(jù)集中建設能夠讓我們給POI帶去更好的服務與回報。

產(chǎn)品主題

與POI強相關(guān)的就是產(chǎn)品了，如何讓產(chǎn)品能夠更加的貼近用戶的需求以及產(chǎn)生更多的交易、流量，產(chǎn)品數(shù)據(jù)主題的建設及目的的意義就在于此。

運營主題

我們的業(yè)務發(fā)展將不再依靠粗暴的補貼式的擴張發(fā)展模式，需要依賴現(xiàn)在的精細化運營方式，運營數(shù)據(jù)主題的建設就有了非常強的必要性，通過數(shù)據(jù)進行精細化運營已經(jīng)成為我們運營的主要發(fā)展趨勢。

結(jié)算主題

實際上，這個主題在傳統(tǒng)企業(yè)里面如銀行、電信等等都是至關(guān)重要的，對我們酒旅而言，建設它的意義能夠不斷優(yōu)化商家體驗、提高財務結(jié)算與管理能力。

整體架構(gòu)

我們的七個主題基本上都采用6層結(jié)構(gòu)的方式來建設，劃分主題更多是從業(yè)務的角度出發(fā)，而層次劃分則是基于技術(shù)，實質(zhì)上我們就是基于業(yè)務與技術(shù)的結(jié)合完成了整體的數(shù)據(jù)倉庫架構(gòu)。下面介紹一下具體的一些主題案例：

訂單主題

在訂單主題的建設過程中，我們是按照由分到總的結(jié)構(gòu)思路來進行建設，首先分供應鏈建設訂單相關(guān)實體（數(shù)據(jù)整合中間層3NF），然后再進行適度抽象把分供應鏈的相關(guān)訂單實體進行合并后生成訂單實體（數(shù)據(jù)整合層3NF），后續(xù)在數(shù)據(jù)整合層的訂單實體基礎上再擴展部分維度信息來完成后續(xù)層次的建設。

流量主題

流量主題與訂單主題的區(qū)別是非常大的，它的數(shù)據(jù)來源具有一定的特殊性，我們的總體建設思路是總-分-總的思路，首先從總的日志數(shù)據(jù)中剝離出來屬于酒旅事業(yè)群的數(shù)據(jù)，后續(xù)再從這些數(shù)據(jù)中分拆到各個具體的頁面（可以適當補充些各個頁面中所具有的B端信息，如POI詳情頁中增加POI品類信息），最后再把各個頁面進行合并生成總的日志主題表（最終這張表會滿足80%以上的相關(guān)流量統(tǒng)計需求）。

運營主題

運營主題與訂單、流量主題相比也具有自身的特殊性，主要原因也在于其數(shù)據(jù)來源本身的特殊性，關(guān)于它的建設思路總體也是總-分-總，但我們本身的數(shù)據(jù)來源大多已經(jīng)不是最底層的ODS數(shù)據(jù)，而是一些已經(jīng)加工過的事實表或維度表，所以我們整體的建模原則基本上都是維度建模。

基于上面介紹的幾個主題，我們實際上在做分主題的層次架構(gòu)時也是基于本主題的業(yè)務、數(shù)據(jù)特點作為最終的判斷條件，沒有絕對的一種層次架構(gòu)適用于所有的主題，需要綜合各項要素來進行綜合判斷才能設計比較合適的層次架構(gòu)。

作者簡介

德臣，美團點評酒旅事業(yè)群數(shù)據(jù)倉庫專家，2003年畢業(yè)于湖南大學，2015年加入美團，整體負責酒旅事業(yè)群的離線數(shù)據(jù)倉庫、實時數(shù)據(jù)倉庫建設。

酒旅數(shù)據(jù)倉庫團隊，結(jié)合酒旅業(yè)務的發(fā)展，靈活利用大數(shù)據(jù)生態(tài)鏈的相關(guān)技術(shù)，致力于離線數(shù)據(jù)倉庫與實時數(shù)據(jù)倉庫的建設，為業(yè)務提供多樣化的數(shù)據(jù)服務。

最后發(fā)個廣告，美團點評酒旅數(shù)據(jù)倉庫團隊長期招聘數(shù)據(jù)倉庫、大數(shù)據(jù)開發(fā)、數(shù)據(jù)產(chǎn)品開發(fā)等方向的技術(shù)專家，有興趣的同學可以發(fā)送簡歷到y(tǒng)angdechen#meituan.com。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的美团点评酒旅数据仓库建设实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。