聯(lián)機(jī)事務(wù)處理(OLTP)

OLTP也稱實(shí)時系統(tǒng)(Real Time System)，支持事務(wù)快速響應(yīng)和大并發(fā)，這類系統(tǒng)典型的有ATM機(jī)(Automated Teller Machine)系統(tǒng)、自動售票系統(tǒng)等，但有些銀行轉(zhuǎn)賬并不是實(shí)時到賬的。OLTP反映企業(yè)當(dāng)前的運(yùn)行狀態(tài)，完成企業(yè)管理所包含的日常任務(wù)的數(shù)據(jù)庫應(yīng)用，一般沒有復(fù)雜的查詢和分析處理。

?

聯(lián)機(jī)分析處理(OLAP)

OLAP也稱決策支持系統(tǒng)(Decision Support System，DSS)，是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用形式，使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。

基于數(shù)據(jù)倉庫的決策支持系統(tǒng)通常由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三個部分組成，其中數(shù)據(jù)倉庫是系統(tǒng)的核心。

OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心概念是維(觀察數(shù)據(jù)的特定角度，如時間維)，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。

OLAP系統(tǒng)按照數(shù)據(jù)存儲格式可以分為Relational OLAP(ROLAP）、Multidimensional OLAP(MOLAP）和Hybrid OLAP(HOLAP）三種類型。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。

E.F.Codd提出12條準(zhǔn)則來描述OLAP系統(tǒng)：

準(zhǔn)則1 OLAP模型必須提供多維概念視圖　　 準(zhǔn)則2 透明性準(zhǔn)則 　　 準(zhǔn)則3 存取能力推測 　　 準(zhǔn)則4 穩(wěn)定的報(bào)表能力 　　 準(zhǔn)則5 客戶/服務(wù)器體系結(jié)構(gòu) 　　 準(zhǔn)則6 維的等同性準(zhǔn)則 　　 準(zhǔn)則7 動態(tài)的稀疏矩陣處理準(zhǔn)則 　　 準(zhǔn)則8 多用戶支持能力準(zhǔn)則 　　 準(zhǔn)則9 非受限的跨維操作 　　 準(zhǔn)則10 直觀的數(shù)據(jù)操縱 　　 準(zhǔn)則11 靈活的報(bào)表生成 　　 準(zhǔn)則12 不受限的維與聚集層次

　?

多維數(shù)據(jù)庫(Multi Dimensional Database，MDD)

數(shù)據(jù)存放在一個n維數(shù)組中，而非關(guān)系數(shù)據(jù)庫以記錄形式存放，屬后關(guān)系型數(shù)據(jù)庫，主要特征是將多維處理和面向?qū)ο蠹夹g(shù)結(jié)合到關(guān)系數(shù)據(jù)庫上。它存在大量稀疏矩陣，可以通過多維視圖來觀察數(shù)據(jù)。多維存儲基本形式如：（2000年1月，上海，筆記本電腦，#0000）。

?

數(shù)據(jù)集市(Datamarts)

為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉庫中獨(dú)立出來的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)（Subjectarea）。在數(shù)據(jù)倉庫的實(shí)施過程中往往可以從一個部門的數(shù)據(jù)集市著手，以后再用幾個數(shù)據(jù)集市組成一個完整的數(shù)據(jù)倉庫。需要注意的就是在實(shí)施不同的數(shù)據(jù)集市時，同一含義的字段定義一定要相容，這樣在以后實(shí)施數(shù)據(jù)倉庫時才不會造成大麻煩。

?

數(shù)據(jù)倉庫(Data Warehouse，DW)

是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的海量數(shù)據(jù)集合(包括大量冗余數(shù)據(jù))，用以支持經(jīng)營管理中的決策制定過程，核心是海量數(shù)據(jù)存放和海量數(shù)據(jù)檢索。相對于操縱型數(shù)據(jù)庫來說其突出的特點(diǎn)是對海量數(shù)據(jù)的支持和快速的檢索技術(shù)。為了實(shí)現(xiàn)決策支持型數(shù)據(jù)處理與事務(wù)型數(shù)據(jù)處理的分離，它按照一定的周期將事務(wù)型數(shù)據(jù)轉(zhuǎn)換導(dǎo)入決策支持?jǐn)?shù)據(jù)庫中。數(shù)據(jù)倉庫系統(tǒng)是一個信息提供平臺，他從業(yè)務(wù)處理系統(tǒng)獲得數(shù)據(jù)，主要以星型模型和雪花模型進(jìn)行數(shù)據(jù)組織，為用戶提供各種手段從中獲取信息和知識。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。從功能結(jié)構(gòu)劃分，數(shù)據(jù)倉庫系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獲取（Data Acquisition）、數(shù)據(jù)存儲（Data Storage）、數(shù)據(jù)訪問（Data?Access）三個關(guān)鍵部分。

?

ETL(Extraction-Transformation-Loading)

負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)(去除了所有特定應(yīng)用格式，可以遷移到其他應(yīng)用上進(jìn)行處理的一類數(shù)據(jù)，比如逗號分隔數(shù)據(jù))文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，是BI(Business Intelligence)/DW的核心和靈魂，是數(shù)據(jù)倉庫中的非常重要的一環(huán)。數(shù)據(jù)倉庫是一個獨(dú)立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境、外部數(shù)據(jù)源或者脫機(jī)的數(shù)據(jù)存儲介質(zhì)導(dǎo)入到數(shù)據(jù)倉庫中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)實(shí)時同步，所以ETL可以定時進(jìn)行。在數(shù)據(jù)倉庫建設(shè)中最難部分是用戶需求分析和模型設(shè)計(jì)，而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的，約占整個項(xiàng)目的60%～80%。

?

轉(zhuǎn)載于:https://www.cnblogs.com/XiongMaoMengNan/p/7803562.html

總結(jié)

以上是生活随笔為你收集整理的大数据基础篇(一)：联机分析处理(OLAP) 与 联机事务处理(OLTP)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。