當(dāng)前位置：首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

入行十年，总结出了数据仓库、数据集市、数据库的精华，你一定不能错过

發(fā)布時(shí)間：2025/3/15 数据库 34 豆豆

生活随笔收集整理的這篇文章主要介紹了入行十年，总结出了数据仓库、数据集市、数据库的精华，你一定不能错过小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

閱讀本文前，請(qǐng)先回答下面兩個(gè)問(wèn)題：

1. 數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)有什么區(qū)別？

2. 某大公司Hadoop Hive里的關(guān)系表不完全滿足完整/參照性約束，也不完全滿足范式要求，甚至第一范式都不滿足，這種情況正常嗎？

如果您不能五秒內(nèi)給出答案，那么本文應(yīng)該是對(duì)您有幫助的。

數(shù)據(jù)庫(kù)的"分家"

隨著關(guān)系數(shù)據(jù)庫(kù)理論的提出，誕生了一系列經(jīng)典的RDBMS，如Oracle，MySQL，SQL Server等。這些RDBMS被成功推向市場(chǎng)，并為社會(huì)信息化的發(fā)展做出的重大貢獻(xiàn)。然而隨著數(shù)據(jù)庫(kù)使用范圍的不斷擴(kuò)大，它被逐步劃分為兩大基本類(lèi)型：

1. 操作型數(shù)據(jù)庫(kù)

主要用于業(yè)務(wù)支撐。一個(gè)公司往往會(huì)使用并維護(hù)若干個(gè)數(shù)據(jù)庫(kù)，這些數(shù)據(jù)庫(kù)保存著公司的日常操作數(shù)據(jù)，比如商品購(gòu)買(mǎi)、酒店預(yù)訂、學(xué)生成績(jī)錄入等；

2. 分析型數(shù)據(jù)庫(kù)

主要用于歷史數(shù)據(jù)分析。這類(lèi)數(shù)據(jù)庫(kù)作為公司的單獨(dú)數(shù)據(jù)存儲(chǔ)，負(fù)責(zé)利用歷史數(shù)據(jù)對(duì)公司各主題域進(jìn)行統(tǒng)計(jì)分析；

那么為什么要"分家"？在一起不合適嗎？能不能構(gòu)建一個(gè)同樣適用于操作和分析的統(tǒng)一數(shù)據(jù)庫(kù)？

答案是NO。一個(gè)顯然的原因是它們會(huì)"打架"......如果操作型任務(wù)和分析型任務(wù)搶資源怎么辦呢？再者，它們有太多不同，以致于早已"貌合神離"。接下來(lái)看看它們到底有哪些不同吧。

操作型數(shù)據(jù)庫(kù) VS 分析型數(shù)據(jù)庫(kù)

因?yàn)橹鲗?dǎo)功能的不同(面向操作/面向分析)，兩類(lèi)數(shù)據(jù)庫(kù)就產(chǎn)生了很多細(xì)節(jié)上的差異。這就好像同樣是人，但一個(gè)和尚和一個(gè)穆斯林肯定有很多行為/觀念上的不同。

接下來(lái)本文將詳細(xì)分析兩類(lèi)數(shù)據(jù)庫(kù)的不同點(diǎn)：

1. 數(shù)據(jù)組成差別 - 數(shù)據(jù)時(shí)間范圍差別

一般來(lái)講，操作型數(shù)據(jù)庫(kù)只會(huì)存放90天以?xún)?nèi)的數(shù)據(jù)，而分析型數(shù)據(jù)庫(kù)存放的則是數(shù)年內(nèi)的數(shù)據(jù)。這點(diǎn)也是將操作型數(shù)據(jù)和分析型數(shù)據(jù)進(jìn)行物理分離的主要原因。

2. 數(shù)據(jù)組成差別 - 數(shù)據(jù)細(xì)節(jié)層次差別

操作型數(shù)據(jù)庫(kù)存放的主要是細(xì)節(jié)數(shù)據(jù)，而分析型數(shù)據(jù)庫(kù)中雖然既有細(xì)節(jié)數(shù)據(jù)，又有匯總數(shù)據(jù)，但對(duì)于用戶(hù)來(lái)說(shuō)，重點(diǎn)關(guān)注的是匯總數(shù)據(jù)部分。

操作型數(shù)據(jù)庫(kù)中自然也有匯總需求，但匯總數(shù)據(jù)本身不存儲(chǔ)而只存儲(chǔ)其生成公式。這是因?yàn)椴僮餍蛿?shù)據(jù)是動(dòng)態(tài)變化的，因此匯總數(shù)據(jù)會(huì)在每次查詢(xún)時(shí)動(dòng)態(tài)生成。

而對(duì)于分析型數(shù)據(jù)庫(kù)來(lái)說(shuō)，因?yàn)閰R總數(shù)據(jù)比較穩(wěn)定不會(huì)發(fā)生改變，而且其計(jì)算量也比較大(因?yàn)闀r(shí)間跨度大)，因此它的匯總數(shù)據(jù)可考慮事先計(jì)算好，以避免重復(fù)計(jì)算。

3. 數(shù)據(jù)組成差別 - 數(shù)據(jù)時(shí)間表示差別

操作型數(shù)據(jù)通常反映的是現(xiàn)實(shí)世界的當(dāng)前狀態(tài)；而分析型數(shù)據(jù)庫(kù)既有當(dāng)前狀態(tài)，還有過(guò)去各時(shí)刻的快照，分析型數(shù)據(jù)庫(kù)的使用者可以綜合所有快照對(duì)各個(gè)歷史階段進(jìn)行統(tǒng)計(jì)分析。

4. 技術(shù)差別 - 查詢(xún)數(shù)據(jù)總量和查詢(xún)頻度差別

操作型查詢(xún)的數(shù)據(jù)量少而頻率多，分析型查詢(xún)則反過(guò)來(lái)，數(shù)據(jù)量大而頻率少。要想同時(shí)實(shí)現(xiàn)這兩種情況的配置優(yōu)化是不可能的，這也是將兩類(lèi)數(shù)據(jù)庫(kù)物理分隔的原因之一。

5. 技術(shù)差別 - 數(shù)據(jù)更新差別

操作型數(shù)據(jù)庫(kù)允許用戶(hù)進(jìn)行增，刪，改，查；分析型數(shù)據(jù)庫(kù)用戶(hù)則只能進(jìn)行查詢(xún)。

6. 技術(shù)差別 - 數(shù)據(jù)冗余差別

數(shù)據(jù)的意義是什么？就是減少數(shù)據(jù)冗余，避免更新異常。而如5所述，分析型數(shù)據(jù)庫(kù)中沒(méi)有更新操作。因此，減少數(shù)據(jù)冗余也就沒(méi)那么重要了。

現(xiàn)在回到開(kāi)篇是提到的第二個(gè)問(wèn)題"某大公司Hadoop Hive里的關(guān)系表不完全滿足完整/參照性約束，也不完全滿足范式要求，甚至第一范式都不滿足。這種情況正常嗎？"，答曰是正常的。因?yàn)镠ive是一種數(shù)據(jù)倉(cāng)庫(kù)，而數(shù)據(jù)倉(cāng)庫(kù)和分析型數(shù)據(jù)庫(kù)的關(guān)系非常緊密(后文會(huì)講到)。它只提供查詢(xún)接口，不提供更新接口，這就使得消除冗余的諸多措施不需要被特別嚴(yán)格地執(zhí)行了。

7. 功能差別 - 數(shù)據(jù)讀者差別

操作型數(shù)據(jù)庫(kù)的使用者是業(yè)務(wù)環(huán)境內(nèi)的各個(gè)角色，如用戶(hù)，商家，進(jìn)貨商等；分析型數(shù)據(jù)庫(kù)則只被少量用戶(hù)用來(lái)做綜合性決策。

8. 功能差別 - 數(shù)據(jù)定位差別

這里說(shuō)的定位，主要是指以何種目的組織起來(lái)。操作型數(shù)據(jù)庫(kù)是為了支撐具體業(yè)務(wù)的，因此也被稱(chēng)為"面向應(yīng)用型數(shù)據(jù)庫(kù)"；分析型數(shù)據(jù)庫(kù)則是針對(duì)各特定業(yè)務(wù)主題域的分析任務(wù)創(chuàng)建的，因此也被稱(chēng)為"面向主題型數(shù)據(jù)庫(kù)"。

數(shù)據(jù)倉(cāng)庫(kù)(data warehouse)定義

聰明的讀者應(yīng)該已經(jīng)意識(shí)到這個(gè)問(wèn)題：既然分析型數(shù)據(jù)庫(kù)中的操作都是查詢(xún)，因此也就不需要嚴(yán)格滿足完整性/參照性約束以及范式設(shè)計(jì)要求，而這些卻正是關(guān)系數(shù)據(jù)庫(kù)精華所在。這樣的情況下再將它歸為數(shù)據(jù)庫(kù)會(huì)很容易引起大家混淆，畢竟在絕大多數(shù)人心里數(shù)據(jù)庫(kù)是可以關(guān)系型數(shù)據(jù)庫(kù)畫(huà)上等號(hào)的。

那么為什么不干脆叫"面向分析的存儲(chǔ)系統(tǒng)"呢？

Bingo！~這就是關(guān)于數(shù)據(jù)倉(cāng)庫(kù)最貼切的定義了。事實(shí)上數(shù)據(jù)倉(cāng)庫(kù)不應(yīng)讓傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)，因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)最少也要求滿足第1范式，而數(shù)據(jù)倉(cāng)庫(kù)里的關(guān)系表可以不滿足第1范式。也就是說(shuō)，同樣的記錄在一個(gè)關(guān)系表里可以出現(xiàn)N次。但由于大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的表的統(tǒng)計(jì)分析還是用SQL，因此很多人把它和關(guān)系數(shù)據(jù)庫(kù)搞混了。

知道了什么是數(shù)據(jù)倉(cāng)庫(kù)后，再來(lái)看看它有哪些特點(diǎn)吧。某種程度上來(lái)說(shuō)，這也是分析型數(shù)據(jù)庫(kù)的特點(diǎn)：

1. 面向主題

面向主題特性是數(shù)據(jù)倉(cāng)庫(kù)和操作型數(shù)據(jù)庫(kù)的根本區(qū)別。操作型數(shù)據(jù)庫(kù)是為了支撐各種業(yè)務(wù)而建立，而分析型數(shù)據(jù)庫(kù)則是為了對(duì)從各種繁雜業(yè)務(wù)中抽象出來(lái)的分析主題(如用戶(hù)、成本、商品等)進(jìn)行分析而建立；

2.集成性

集成性是指數(shù)據(jù)倉(cāng)庫(kù)會(huì)將不同源數(shù)據(jù)庫(kù)中的數(shù)據(jù)匯總到一起；

3.企業(yè)范圍

數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)是面向公司全局的。比如某個(gè)主題域?yàn)槌杀?#xff0c;則全公司和成本有關(guān)的信息都會(huì)被匯集進(jìn)來(lái)；

4.歷史性

較之操作型數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)的時(shí)間跨度通常比較長(zhǎng)。前者通常保存幾個(gè)月，后者可能幾年甚至幾十年；

5.時(shí)變性

時(shí)變性是指數(shù)據(jù)倉(cāng)庫(kù)包含來(lái)自其時(shí)間范圍不同時(shí)間段的數(shù)據(jù)快照。有了這些數(shù)據(jù)快照以后，用戶(hù)便可將其匯總，生成各歷史階段的數(shù)據(jù)分析報(bào)告；

數(shù)據(jù)倉(cāng)庫(kù)組件

數(shù)據(jù)倉(cāng)庫(kù)的核心組件有四個(gè)：各源數(shù)據(jù)庫(kù)，ETL，數(shù)據(jù)倉(cāng)庫(kù)，前端應(yīng)用。如下圖所示：

1.?業(yè)務(wù)系統(tǒng)

業(yè)務(wù)系統(tǒng)包含各種源數(shù)據(jù)庫(kù)，這些源數(shù)據(jù)庫(kù)既為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐，同時(shí)也作為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源(注：除了業(yè)務(wù)系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)也可從其他外部數(shù)據(jù)源獲取數(shù)據(jù))；

2.ETL

ETL分別代表：提取extraction、轉(zhuǎn)換transformation、加載load。其中提取過(guò)程表示操作型數(shù)據(jù)庫(kù)搜集指定數(shù)據(jù)，轉(zhuǎn)換過(guò)程表示將數(shù)據(jù)轉(zhuǎn)化為指定格式并進(jìn)行數(shù)據(jù)清洗保證數(shù)據(jù)質(zhì)量，加載過(guò)程表示將轉(zhuǎn)換過(guò)后滿足指定格式的數(shù)據(jù)加載進(jìn)數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)會(huì)周期不斷地從源數(shù)據(jù)庫(kù)提取清洗好了的數(shù)據(jù)，因此也被稱(chēng)為"目標(biāo)系統(tǒng)"；

3.前端應(yīng)用

和操作型數(shù)據(jù)庫(kù)一樣，數(shù)據(jù)倉(cāng)庫(kù)通常提供具有直接訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)功能的前端應(yīng)用，這些應(yīng)用也被稱(chēng)為BI(商務(wù)智能)應(yīng)用。

數(shù)據(jù)集市(data mart)

數(shù)據(jù)集市可以理解為是一種"小型數(shù)據(jù)倉(cāng)庫(kù)"，它只包含單個(gè)主題，且關(guān)注范圍也非全局。

數(shù)據(jù)集市可以分為兩種，一種是獨(dú)立數(shù)據(jù)集市(independent data mart)，這類(lèi)數(shù)據(jù)集市有自己的源數(shù)據(jù)庫(kù)和ETL架構(gòu)；另一種是非獨(dú)立數(shù)據(jù)集市(dependent data mart)，這種數(shù)據(jù)集市沒(méi)有自己的源系統(tǒng)，它的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)。當(dāng)用戶(hù)或者應(yīng)用程序不需要/不必要/不允許用到整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)，非獨(dú)立數(shù)據(jù)集市就可以簡(jiǎn)單為用戶(hù)提供一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的"子集"。

數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)流程

在數(shù)據(jù)庫(kù)系列的第五篇中，曾詳細(xì)分析了數(shù)據(jù)庫(kù)系統(tǒng)的開(kāi)發(fā)流程。數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程和數(shù)據(jù)庫(kù)的比較相似，因此本文僅就其中區(qū)別進(jìn)行分析。

下圖為數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程：

較之?dāng)?shù)據(jù)庫(kù)系統(tǒng)開(kāi)發(fā)，數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)只多出ETL工程部分。然而這一部分極有可能是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)流程中最為耗時(shí)耗資源的一個(gè)環(huán)節(jié)。因?yàn)樵摥h(huán)節(jié)要整理各大業(yè)務(wù)系統(tǒng)中雜亂無(wú)章的數(shù)據(jù)并協(xié)調(diào)元數(shù)據(jù)上的差別，所以工作量很大。在很多公司都專(zhuān)門(mén)設(shè)有ETL工程師這樣的崗位，大的公司甚至專(zhuān)門(mén)聘請(qǐng)ETL專(zhuān)家。

小結(jié)

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)倉(cāng)庫(kù)的重要性更勝以往。Hadoop平臺(tái)下的Hive，Spark平臺(tái)下的Spark SQL都是各自生態(tài)圈內(nèi)應(yīng)用最熱門(mén)的配套工具，而它們的本質(zhì)就是開(kāi)源分布式數(shù)據(jù)倉(cāng)庫(kù)。

在國(guó)內(nèi)最優(yōu)秀的互聯(lián)網(wǎng)公司里(如阿里、騰訊)，很多數(shù)據(jù)引擎是架構(gòu)在數(shù)據(jù)倉(cāng)庫(kù)之上的(如數(shù)據(jù)分析引擎、數(shù)據(jù)挖掘引擎、推薦引擎、可視化引擎等等)。不少員工認(rèn)為，開(kāi)發(fā)成本應(yīng)更多集中在數(shù)據(jù)倉(cāng)庫(kù)層，不斷加大數(shù)據(jù)建設(shè)的投入。因?yàn)橐坏┮?guī)范、標(biāo)準(zhǔn)、高性能的數(shù)據(jù)倉(cāng)庫(kù)建立好了，在之上進(jìn)行數(shù)據(jù)分析、數(shù)據(jù)挖掘、跑推薦算法等都是輕松愜意的事情。反之如果業(yè)務(wù)數(shù)據(jù)沒(méi)梳理好，各種臟亂數(shù)據(jù)會(huì)搞得人焦頭爛額，苦不堪言。