前言

本文根據(jù) Apache Flink 系列直播整理而成，由美團(tuán)點(diǎn)評(píng)數(shù)據(jù)系統(tǒng)研發(fā)工程師黃偉倫老師分享。主要內(nèi)容如下：

• 實(shí)時(shí)數(shù)倉建設(shè)目的

• 如何建立實(shí)時(shí)數(shù)倉

• 倉庫質(zhì)量保證

實(shí)時(shí)數(shù)倉建設(shè)目的

 

實(shí)時(shí)數(shù)倉是一個(gè)很容易讓人產(chǎn)生混淆的概念。實(shí)時(shí)數(shù)倉本身似乎和把 PPT 黑色的背景變得更白一樣，從傳統(tǒng)的經(jīng)驗(yàn)來講，我們認(rèn)為數(shù)倉有一個(gè)很重要的功能，即能夠記錄歷史。通常，數(shù)倉都是希望從業(yè)務(wù)上線的第一天開始有數(shù)據(jù)，然后一直記錄到現(xiàn)在。

 

但實(shí)時(shí)處理技術(shù)，又是強(qiáng)調(diào)當(dāng)前處理狀態(tài)的一門技術(shù)，所以我們認(rèn)為這兩個(gè)相對(duì)對(duì)立的方案重疊在一起的時(shí)候，它注定不是用來解決一個(gè)比較廣泛問題的一種方案。于是，我們把實(shí)時(shí)數(shù)倉建設(shè)的目的定位為解決由于傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)時(shí)效性低解決不了的問題。

 

由于這個(gè)特點(diǎn)，我們給定了兩個(gè)原則：

 

• 傳統(tǒng)數(shù)倉能解決的問題，實(shí)時(shí)數(shù)倉就不解決了。比如上個(gè)月的一些歷史的統(tǒng)計(jì)，這些數(shù)據(jù)是不會(huì)用實(shí)時(shí)數(shù)倉來建設(shè)的。

• 問題本身就不太適合用數(shù)倉來解決，也不用實(shí)時(shí)數(shù)倉解決。比如業(yè)務(wù)性很強(qiáng)的需求，或者是對(duì)時(shí)效性要求特別高的需求。這些需求我們也不建議通過實(shí)時(shí)數(shù)倉這種方式來進(jìn)行解決。

 

當(dāng)然為了讓我們整個(gè)系統(tǒng)看起來像是一個(gè)數(shù)倉，我們還是給自己提了一些要求的。這個(gè)要求其實(shí)跟我們建立離線數(shù)倉的要求是一樣的，首先實(shí)時(shí)的數(shù)倉是需要面向主題的，然后具有集成性，并且保證相對(duì)穩(wěn)定。

 

離線數(shù)倉和實(shí)

總結(jié)

以上是生活随笔為你收集整理的Flink从入门到精通100篇（八）-美团点评是如何在 Flink平台建立 实时数仓的？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。