OLTP

On-Line Transaction Processing聯(lián)機事務處理過程(OLTP)

也稱為面向交易的處理過程，其基本特征是前臺接收的用戶數(shù)據(jù)可以立即傳送到計算中心進行處理，并在很短的時間內(nèi)給出處理結(jié)果，是對用戶操作快速響應的方式之一。

這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答。也稱為實時系統(tǒng)(Real time System)。衡量聯(lián)機事務處理結(jié)果的一個重要指標是系統(tǒng)性能，具體體現(xiàn)為實時請求-響應時間(Response Time)，即用戶在終端上輸入數(shù)據(jù)之后，到計算機對這個請求給出答復所需要的時間。OLTP是由前臺、應用、數(shù)據(jù)庫共同完成的，處理快慢以及處理程度取決于數(shù)據(jù)庫引擎、服務器、應用引擎。

OLTP 數(shù)據(jù)庫旨在使事務應用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務。

?

OLTP特征

支持大量并發(fā)用戶定期添加和修改數(shù)據(jù)。

反映隨時變化的單位狀態(tài)，但不保存其歷史記錄。

包含大量數(shù)據(jù)，其中包括用于驗證事務的大量數(shù)據(jù)。

結(jié)構(gòu)復雜。

可以進行優(yōu)化以對事務活動做出響應。

提供用于支持單位日常運營的技術基礎結(jié)構(gòu)。

個別事務能夠很快地完成，并且只需訪問相對較少的數(shù)據(jù)。OLTP 旨在處理同時輸入的成百上千的事務。

實時性要求高。

數(shù)據(jù)量不是很大。

交易一般是確定的，所以OLTP是對確定性的數(shù)據(jù)進行存取。(比如存取款都有一個特定的金額)

并發(fā)性要求高并且嚴格的要求事務的完整、安全性。(比如這種情況：有可能你和你的家人同時在不同的銀行取同一個帳號的款)。

?

OLAP

聯(lián)機分析處理OLAP是一種軟件技術，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數(shù)據(jù)的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多維信息的快速分析的特征。其中F是快速性(Fast)，指系統(tǒng)能在數(shù)秒內(nèi)對用戶的多數(shù)分析要求做出反應；A是可分析性(Analysis)，指用戶無需編程就可以定義新的專門計算，將其作為分析的一部 分，并以用戶所希望的方式給出報告；M是多維性(Multi—dimensional)，指提供對數(shù)據(jù)分析的多維視圖和分析；I是信息性(Information)，指能及時獲得信息，并且管理大容量信息。

OLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。

?

維（Dimension）：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維（時間維、地理維等）。

維的層次（Level）：人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細節(jié)程度不同的各個描述方面（時間維：日期、月份、季度、年）。

維的成員（Member）：維的一個取值，是數(shù)據(jù)項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）。

度量（Measure）：多維數(shù)組的取值。（2000年1月，上海，筆記本電腦，0000）。

OLAP的基本多維分析操作有鉆取（Drill-up和Drill-down）、切片（Slice）和切塊（Dice）、以及旋轉(zhuǎn)（Pivot）等。

鉆取：是改變維的層次，變換分析的粒度。它包括向下鉆取（Drill-down）和向上鉆取（Drill-up）/上卷(Roll-up)。Drill-up是在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而Drill-down則相反，它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。

切片和切塊：是在一部分維上選定值后，關心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個，則是切片；如果有三個或以上，則是切塊。

旋轉(zhuǎn)：是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。

?

數(shù)據(jù)倉庫與OLAP的關系是互補的，現(xiàn)代OLAP系統(tǒng)一般以數(shù)據(jù)倉庫作為基礎，即從數(shù)據(jù)倉庫中抽取詳細數(shù)據(jù)的一個子集并經(jīng)過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取。

OLAP系統(tǒng)按照其存儲器的數(shù)據(jù)存儲格式可以分為關系OLAP（RelationalOLAP，簡稱ROLAP）、多維OLAP（MultidimensionalOLAP，簡稱MOLAP）和混合型OLAP（HybridOLAP，簡稱HOLAP）三種類型。

ROLAP

ROLAP將分析用的多維數(shù)據(jù)存儲在關系數(shù)據(jù)庫中并根據(jù)應用的需要有選擇的定義一批實視圖作為表也存儲在關系數(shù)據(jù)庫中。不必要將每一個SQL查詢都作為實視圖保存，只定義那些應用頻率比較高、計算工作量比較大的查詢作為實視圖。對每個針對OLAP服務器的查詢，優(yōu)先利用已經(jīng)計算好的實視圖來生成查詢結(jié)果以提高查詢效率。同時用作ROLAP存儲器的RDBMS也針對OLAP作相應的優(yōu)化，比如并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL的OLAP擴展(cube,rollup)等等。

MOLAP

MOLAP將OLAP分析所用到的多維數(shù)據(jù)物理上存儲為多維數(shù)組的形式，形成“立方體”的結(jié)構(gòu)。維的屬性值被映射成多維數(shù)組的下標值或下標的范圍，而總結(jié)數(shù)據(jù)作為多維數(shù)組的值存儲在數(shù)組的單元中。由于MOLAP采用了新的存儲結(jié)構(gòu)，從物理層實現(xiàn)起，因此又稱為物理OLAP（PhysicalOLAP）；而ROLAP主要通過一些軟件工具或中間軟件實現(xiàn)，物理層仍采用關系數(shù)據(jù)庫的存儲結(jié)構(gòu)，因此稱為虛擬OLAP（VirtualOLAP）。

HOLAP

由于MOLAP和ROLAP有著各自的優(yōu)點和缺點（如下表所示）,且它們的結(jié)構(gòu)迥然不同，這給分析人員設計OLAP結(jié)構(gòu)提出了難題。為此一個新的OLAP結(jié)構(gòu)——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP兩種結(jié)構(gòu)的優(yōu)點結(jié)合起來。迄今為止，對HOLAP還沒有一個正式的定義。但很明顯，HOLAP結(jié)構(gòu)不應該是MOLAP與ROLAP結(jié)構(gòu)的簡單組合，而是這兩種結(jié)構(gòu)技術優(yōu)點的有機結(jié)合，能滿足用戶各種復雜的分析請求。

?

OLTP與OLAP對比

?

HTAP

數(shù)據(jù)庫系統(tǒng)一般可以按照負載類型分成操作型數(shù)據(jù)庫（Operational Support System）和決策型數(shù)據(jù)庫（Decision Support System）。操作型數(shù)據(jù)庫主要用于應對日常流水類業(yè)務，主要是面向消費者類的業(yè)務；決策型數(shù)據(jù)庫主要應對的是企業(yè)報表類，可視化等統(tǒng)計類業(yè)務，主要面向企業(yè)類的業(yè)務。

針對兩類系統(tǒng)的數(shù)據(jù)管理和系統(tǒng)設計方式都有很大差異。 ?(1）對OLTP的數(shù)據(jù)模型采用基本的約束E-R圖模型，而OLAP的數(shù)據(jù)模型則需要采用特殊的“星型模型”，數(shù)據(jù)立方等數(shù)據(jù)倉庫相關的技術。 ?（2）對OLTP的數(shù)據(jù)存儲通常采用行式組織，而OLAP采用列式組織。 ?（3）OLTP的業(yè)務通常對實時要求比OLAP高很多。 ?（4）傳統(tǒng)的數(shù)據(jù)庫，為了同時支持兩類業(yè)務。通常采用兩個數(shù)據(jù)源, 分別對兩套系統(tǒng)進行優(yōu)化設計。

OLTP的數(shù)據(jù)定期會通過etl（提取，轉(zhuǎn)換，加載）工具把數(shù)據(jù)同步導入OLAP系統(tǒng)中。這就涉及到數(shù)據(jù)源滯后的問題。 OLAP的數(shù)據(jù)滯后，導致分析出來的結(jié)果時效性不夠，對決策支持類系統(tǒng)的要求不夠。比如說，雙11期間，用戶購物的行為和推薦系統(tǒng)的推薦結(jié)果之間的時間差越短，越有可能提高銷量。

HTAP是混合 OLTP 和 OLAP 業(yè)務同時處理的系統(tǒng)，2014年Garnter公司給出了嚴格的定義：混合事務/分析處理(HTAP)是一種新興的應用體系結(jié)構(gòu)，它打破了事務處理和分析之間的“墻”。它支持更多的信息和“實時業(yè)務”的決策。

直接在單一數(shù)據(jù)源上不加區(qū)分的處理TP和AP的方案，目前還不能有效實現(xiàn)。

當前的方案是進行一個折中。采用快照的方式，分開處理OLTP和OLAP請求。讓OLAP的請求在OLTP的最新的一致性快照上執(zhí)行。同時對外暴露一套接口，從而從邏輯來看是一套系統(tǒng)。雖然內(nèi)部是分開處理OLTP和OLAP的。

這種折衷方案，重要的一點，就是保證快照是盡可能的保持“新”，快照不能太過滯后OLTP的數(shù)據(jù)。這就需要系統(tǒng)頻繁的做快照操作。

目前兩種流行的方案，一個是采用linux的系統(tǒng)快照能力，提供HTAP服務的方案，比如Hyper數(shù)據(jù)庫系統(tǒng)。另一種是類似hana的方案，定期生成增量數(shù)據(jù)，然后合并到AP系統(tǒng)。如下圖。

總結(jié)

以上是生活随笔為你收集整理的OLTP、OLAP与HTAP的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。