MPP代表大規(guī)模并行處理，這是網(wǎng)格計算中所有單獨節(jié)點參與協(xié)調(diào)計算的方法。?是將任務(wù)并行的分散到多個服務(wù)器和節(jié)點上，在每個節(jié)點上計算完成后，將各自部分的結(jié)果匯總在一起得到最終的結(jié)果。 MPP DBMS是建立在這種方法之上的數(shù)據(jù)庫管理系統(tǒng)。在這些系統(tǒng)中的每個查詢都會被分解為由MPP網(wǎng)格的節(jié)點并行執(zhí)行的一組協(xié)調(diào)進(jìn)程，它們的運(yùn)行時間比傳統(tǒng)的SMP RDBMS系統(tǒng)快得多。該架構(gòu)的另一個優(yōu)點是可擴(kuò)展性，因為可以通過添加新節(jié)點擴(kuò)展網(wǎng)格。為了能夠處理大量的數(shù)據(jù)，這些解決方案中的數(shù)據(jù)通常在每個節(jié)點只處理其本地數(shù)據(jù)的方式在節(jié)點（分片）之間分割。這是一種完全無共享(Share Nothing)結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無限制，目前技術(shù)上可實現(xiàn)512個節(jié)點互聯(lián)，數(shù)千個CPU。MPP有對SQL的完整兼容和一些事務(wù)處理功能，如果數(shù)據(jù)擴(kuò)展需求不是特別大，數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù)，習(xí)慣使用傳統(tǒng)RDBMS，可以選擇MPP數(shù)據(jù)倉庫。

目前有很多關(guān)于hadoop技術(shù)棧與MPP數(shù)據(jù)倉庫的討論與對比，很多觀點認(rèn)為hadoop可以替代MPP,但是從下表的比對可以看出兩者的差異，對于不同的場景以及MPP技術(shù)的發(fā)展，應(yīng)該還是處于并存的狀態(tài)。另外，基于復(fù)雜的數(shù)據(jù)場景下，混合框架的使用，也還是會存的。我們團(tuán)隊就使用混合框架構(gòu)建了數(shù)據(jù)中心，從而完善OLTP能力。

以下是兩者的比較：

特性	Hadoop	MPP數(shù)據(jù)倉庫
計算節(jié)點數(shù)	可到數(shù)千個	一般1000個以內(nèi)
數(shù)據(jù)量	支持大于10P	一般不大于10P
數(shù)據(jù)類型	關(guān)系型，半關(guān)系型，無結(jié)構(gòu)化，語音，圖像，視頻	關(guān)系型
時延	中/高	低（但還是要看數(shù)據(jù)量和維度的數(shù)量）
應(yīng)用生態(tài)	創(chuàng)新型/人工智能	傳統(tǒng)數(shù)據(jù)庫型/BI類
應(yīng)用開發(fā)接口	SQL，MR，豐富的編程語言接口	標(biāo)準(zhǔn)數(shù)據(jù)庫SQL
可擴(kuò)展性	無窮的可能，完整的編程接口	有限擴(kuò)展能力，主要通過UDF支持
事務(wù)支持	有限	完整
價格	低	高

總結(jié)

以上是生活随笔為你收集整理的初识大数据（三. Hadoop与MPP数据仓库）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。