近期由中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟舉辦的“大數(shù)據(jù)100分”線(xiàn)上研討會(huì)中，南大通用的CTO、資深業(yè)界專(zhuān)家武新博士同眾多網(wǎng)友分享了底層數(shù)據(jù)處理技術(shù)的發(fā)展趨勢(shì)和正在經(jīng)歷的巨大變革。以下為分享實(shí)錄：

大數(shù)據(jù)這個(gè)領(lǐng)域過(guò)去5年發(fā)展很快、熱度很高，但是總的來(lái)說(shuō)目前還在起步階段。本次研討會(huì)我會(huì)先談?wù)剶?shù)據(jù)，以及大數(shù)據(jù)對(duì)數(shù)據(jù)處理技術(shù)的壓力，然后為大家分享一下為什么這幾年數(shù)據(jù)處理技術(shù)上的創(chuàng)新很多。

1. 數(shù)據(jù)價(jià)值的發(fā)現(xiàn)與使用

在大數(shù)據(jù)的4個(gè)V中，最顯著的特征應(yīng)該是Value（價(jià)值）。不管數(shù)據(jù)多大，是什么結(jié)構(gòu)，來(lái)源如何，能給使用者帶來(lái)價(jià)值的數(shù)據(jù)是最重要的數(shù)據(jù)。

我跟數(shù)據(jù)打了20多年的交道，從來(lái)沒(méi)感覺(jué)到搞數(shù)據(jù)的地位有今天這么高。整個(gè)社會(huì)對(duì)數(shù)據(jù)的認(rèn)知變了，大數(shù)據(jù)最大的貢獻(xiàn)至少是讓社會(huì)各個(gè)層面開(kāi)始認(rèn)識(shí)到數(shù)據(jù)的重要性，包括最高領(lǐng)導(dǎo)和底層的老百姓。

目前大家基本達(dá)成共識(shí)：數(shù)據(jù)像石油、煤一樣是寶貴的資產(chǎn)，其內(nèi)在的價(jià)值非常巨大。另外一個(gè)顯著的貢獻(xiàn)無(wú)疑是互聯(lián)網(wǎng)企業(yè)對(duì)于數(shù)據(jù)的巧妙使用和價(jià)值體現(xiàn)。

2. 數(shù)據(jù)處理技術(shù)的回顧

互聯(lián)網(wǎng)的數(shù)據(jù)“大”是不爭(zhēng)的事實(shí)，現(xiàn)在分析一下數(shù)據(jù)處理技術(shù)面臨的挑戰(zhàn)。目前除了互聯(lián)網(wǎng)企業(yè)外，數(shù)據(jù)處理領(lǐng)域還是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）的天下。傳統(tǒng)RDBMS的核心設(shè)計(jì)思想基本上是30年前形成的。過(guò)去30年脫穎而出的無(wú)疑是Oracle公司。全世界數(shù)據(jù)庫(kù)市場(chǎng)基本上被Oracle，IBM/DB2，Microsoft/SQL Server 壟斷，其他幾家市場(chǎng)份額都比較小。SAP去年收購(gòu)了Sybase，也想成為數(shù)據(jù)庫(kù)廠(chǎng)商。有份量的獨(dú)立數(shù)據(jù)庫(kù)廠(chǎng)商現(xiàn)在就剩下Oracle和Teradata。開(kāi)源數(shù)據(jù)庫(kù)主要是MySQL，PostgreSQL，除了互聯(lián)網(wǎng)領(lǐng)域外，其他行業(yè)用的很少。這些數(shù)據(jù)庫(kù)當(dāng)年主要是面向OLTP交易型需求設(shè)計(jì)、開(kāi)發(fā)的，是用來(lái)開(kāi)發(fā)人機(jī)會(huì)話(huà)應(yīng)用為主的。這些傳統(tǒng)數(shù)據(jù)庫(kù)底層的物理存儲(chǔ)格式都是行存儲(chǔ)，比較適合數(shù)據(jù)頻繁的增刪改操作，但對(duì)于統(tǒng)計(jì)分析類(lèi)的查詢(xún)，行存儲(chǔ)其實(shí)效率很低。在這些成熟的數(shù)據(jù)庫(kù)產(chǎn)品中，有2個(gè)典型特例：一個(gè)是Teradata，一個(gè)是Sybase IQ。

Teradata一開(kāi)始就使用MPP（Massive Parallel Processing）架構(gòu)，以軟硬一體機(jī)的產(chǎn)品方式提供給客戶(hù)，其定位是高端客戶(hù)的數(shù)據(jù)倉(cāng)庫(kù)和決策分析系統(tǒng)，Teradata在全世界的客戶(hù)只有幾千個(gè)。在這個(gè)數(shù)據(jù)分析高端市場(chǎng)上，Teradata一直是老大，在數(shù)據(jù)分析技術(shù)上Oracle和IBM打不過(guò)Teradata。Sybase IQ是一款最早基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品，其定位跟Teradata類(lèi)似，不過(guò)是以軟件方式銷(xiāo)售的。Teradata和Sybase IQ在數(shù)據(jù)分析應(yīng)用上的性能其實(shí)都比Oracle，DB2等要普遍好。

3. 數(shù)據(jù)增長(zhǎng)加速，數(shù)據(jù)多樣化，大數(shù)據(jù)時(shí)代來(lái)臨

如果說(shuō)現(xiàn)在是大數(shù)據(jù)時(shí)代了，其實(shí)是數(shù)據(jù)來(lái)源發(fā)生了質(zhì)的變化。在互聯(lián)網(wǎng)出現(xiàn)之前，數(shù)據(jù)主要是人機(jī)會(huì)話(huà)方式產(chǎn)生的，以結(jié)構(gòu)化數(shù)據(jù)為主。所以大家都需要傳統(tǒng)的RDBMS來(lái)管理這些數(shù)據(jù)和應(yīng)用系統(tǒng)。那時(shí)候的數(shù)據(jù)增長(zhǎng)緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)數(shù)據(jù)庫(kù)基本可以滿(mǎn)足各類(lèi)應(yīng)用開(kāi)發(fā)。

互聯(lián)網(wǎng)的出現(xiàn)和快速發(fā)展，尤其是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，加上數(shù)碼設(shè)備的大規(guī)模使用，今天數(shù)據(jù)的主要來(lái)源已經(jīng)不是人機(jī)會(huì)話(huà)了，而是通過(guò)設(shè)備、服務(wù)器、應(yīng)用自動(dòng)產(chǎn)生的。傳統(tǒng)行業(yè)的數(shù)據(jù)同時(shí)也多起來(lái)了，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，而真正的交易數(shù)據(jù)量并不大，增長(zhǎng)并不快。機(jī)器產(chǎn)生的數(shù)據(jù)正在幾何級(jí)增長(zhǎng)，比如基因數(shù)據(jù)、各種用戶(hù)行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻、氣象、地震、醫(yī)療等等。

所謂的“大數(shù)據(jù)應(yīng)用”主要是對(duì)各類(lèi)數(shù)據(jù)進(jìn)行整理、交叉分析、比對(duì)，對(duì)數(shù)據(jù)進(jìn)行深度挖掘，對(duì)用戶(hù)提供自助的即席、迭代分析能力。還有一類(lèi)就是對(duì)非結(jié)構(gòu)化數(shù)據(jù)的特征提取，以及半結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容檢索、理解等。

傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)這類(lèi)需求和應(yīng)用無(wú)論在技術(shù)上還是功能上都幾乎束手無(wú)策。這樣其實(shí)就給類(lèi)似Hadoop的技術(shù)和平臺(tái)提供了很好的發(fā)展機(jī)會(huì)和空間。互聯(lián)網(wǎng)公司自然就選擇能支撐自己業(yè)務(wù)的開(kāi)源技術(shù)了，反過(guò)來(lái)又推動(dòng)了開(kāi)源技術(shù)的快速發(fā)展。

4. 新的數(shù)據(jù)處理技術(shù)、產(chǎn)品和創(chuàng)新

為了應(yīng)對(duì)數(shù)據(jù)處理的壓力，過(guò)去十年間在數(shù)據(jù)處理技術(shù)領(lǐng)域有了很多的創(chuàng)新和發(fā)展。除了面向高并發(fā)、短事務(wù)的OLTP內(nèi)存數(shù)據(jù)庫(kù)外（Altibase， Timesten），其他的技術(shù)創(chuàng)新和產(chǎn)品都是面向數(shù)據(jù)分析的，而且是大規(guī)模數(shù)據(jù)分析的，也可以說(shuō)是大數(shù)據(jù)分析的。

在這些面向數(shù)據(jù)分析的創(chuàng)新和產(chǎn)品中，除了基于Hadoop環(huán)境下的各種NoSQL外，還有一類(lèi)是基于Shared Nothing架構(gòu)的面向結(jié)構(gòu)化數(shù)據(jù)分析的新型數(shù)據(jù)庫(kù)產(chǎn)品（可以叫做NewSQL），如：Greenplum（EMC收購(gòu)），Vertica（HP 收購(gòu)），Asterdata（TD 收購(gòu)），以及南大通用在國(guó)內(nèi)開(kāi)發(fā)的GBase 8a MPP Cluster等。目前可以看到的類(lèi)似開(kāi)源和商用產(chǎn)品達(dá)到幾十個(gè)，而且還有新的產(chǎn)品不斷涌出。一個(gè)有趣的現(xiàn)象是這些新的數(shù)據(jù)庫(kù)廠(chǎng)商多數(shù)都還沒(méi)有10年歷史，而且發(fā)展好的基本都被收購(gòu)了。收購(gòu)這些新型數(shù)據(jù)庫(kù)廠(chǎng)商的公司，比如EMC、HP，都希望通過(guò)收購(gòu)新技術(shù)和產(chǎn)品進(jìn)入大數(shù)據(jù)處理市場(chǎng)，是新的玩家。SAP除了收購(gòu)Sybase外，自己開(kāi)發(fā)了一款叫HANA的新產(chǎn)品，這是一款基于內(nèi)存、面向數(shù)據(jù)分析的內(nèi)存數(shù)據(jù)庫(kù)產(chǎn)品。

這類(lèi)新的分析型數(shù)據(jù)庫(kù)產(chǎn)品的共性主要是：

架構(gòu)基于大規(guī)模分布式計(jì)算（MPP）；硬件基于X86 PC 服務(wù)器；存儲(chǔ)基于服務(wù)器自帶的本地硬盤(pán)；操作系統(tǒng)主要是Linux;擁有極高的橫向擴(kuò)展能力（scale out）和內(nèi)在的故障容錯(cuò)能力和數(shù)據(jù)高可用保障機(jī)制；能大大降低每TB數(shù)據(jù)的處理成本，為“大數(shù)據(jù)”處理提供技術(shù)和性?xún)r(jià)比支撐。

總的來(lái)看，數(shù)據(jù)處理技術(shù)進(jìn)入了一個(gè)新的創(chuàng)新和發(fā)展高潮，機(jī)會(huì)很多。這里的主要原因是一直沿用了30年的傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)遇到了技術(shù)瓶頸，而市場(chǎng)和用戶(hù)的需求在推動(dòng)著技術(shù)的創(chuàng)新，并為此創(chuàng)造了很多機(jī)會(huì)。在大數(shù)據(jù)面前，越來(lái)越多的用戶(hù)愿意嘗試新技術(shù)和新產(chǎn)品，不那么保守了，因?yàn)榇蠹议_(kāi)始清晰地看到傳統(tǒng)技術(shù)的瓶頸，選擇新的技術(shù)才有可能解決他們面臨的新問(wèn)題。

現(xiàn)在的總體趨勢(shì)是在數(shù)據(jù)量快速增長(zhǎng)、多類(lèi)數(shù)據(jù)分析并存的需求壓力下，數(shù)據(jù)處理技術(shù)朝著細(xì)分方向發(fā)展，過(guò)去30年一種平臺(tái)滿(mǎn)足所有應(yīng)用需求的時(shí)代已經(jīng)過(guò)去。我們必須開(kāi)始根據(jù)應(yīng)用需求和數(shù)據(jù)量選擇最適合的產(chǎn)品和技術(shù)來(lái)支撐應(yīng)用。世界數(shù)據(jù)處理市場(chǎng)格局正在發(fā)生革命性的變化，傳統(tǒng)數(shù)據(jù)庫(kù)（OldSQL）一統(tǒng)天下變成了OldSQL+NewSQL+NoSQL+其他新技術(shù)（流、實(shí)時(shí)、內(nèi)存等）共同支撐多類(lèi)應(yīng)用的局面。在大數(shù)據(jù)時(shí)代，需要的是數(shù)據(jù)驅(qū)動(dòng)最優(yōu)平臺(tái)和產(chǎn)品的選擇。

5. MPP關(guān)系型數(shù)據(jù)庫(kù)與Hadoop的非關(guān)系型數(shù)據(jù)庫(kù)

大數(shù)據(jù)存儲(chǔ)技術(shù)路線(xiàn)最典型的共有三種：

第一種是采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用Shared Nothing架構(gòu)，通過(guò)列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完成對(duì)分析類(lèi)應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PC Server，具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類(lèi)應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。

這類(lèi)MPP產(chǎn)品可以有效支撐PB級(jí)別的結(jié)構(gòu)化數(shù)據(jù)分析，這是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)無(wú)法勝任的。對(duì)于企業(yè)新一代的數(shù)據(jù)倉(cāng)庫(kù)和結(jié)構(gòu)化數(shù)據(jù)分析，目前最佳選擇是MPP數(shù)據(jù)庫(kù)。

圖1 MPP架構(gòu)圖

第二種是基于Hadoop的技術(shù)擴(kuò)展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)較難處理的數(shù)據(jù)和場(chǎng)景，例如針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算等，充分利用Hadoop開(kāi)源的優(yōu)勢(shì)，伴隨相關(guān)技術(shù)的不斷進(jìn)步，其應(yīng)用場(chǎng)景也將逐步擴(kuò)大，目前最為典型的應(yīng)用場(chǎng)景就是通過(guò)擴(kuò)展和封裝Hadoop來(lái)實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)、分析的支撐。這里面有幾十種NoSQL技術(shù)，也在進(jìn)一步的細(xì)分。對(duì)于非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型，Hadoop平臺(tái)更擅長(zhǎng)。

第三種是大數(shù)據(jù)一體機(jī)，這是一種專(zhuān)為大數(shù)據(jù)的分析處理而設(shè)計(jì)的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)以及為數(shù)據(jù)查詢(xún)、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成，高性能大數(shù)據(jù)一體機(jī)具有良好的穩(wěn)定性和縱向擴(kuò)展性。

6. 數(shù)據(jù)倉(cāng)庫(kù)的重要性

在互聯(lián)網(wǎng)高速發(fā)展之前，無(wú)論是電信運(yùn)營(yíng)商，還是大銀行，保險(xiǎn)公司等都花費(fèi)了巨額資金建立了自己的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。這些倉(cāng)庫(kù)主要是為企業(yè)決策者生成企業(yè)的一些關(guān)鍵指標(biāo)（KPI），有的企業(yè)有幾千張、甚至上萬(wàn)張KPI報(bào)表，有日表，周表，月表等等。這些系統(tǒng)有幾個(gè)主要特征：

技術(shù)架構(gòu)主要基于傳統(tǒng)RDBMS + 小型機(jī) + 高端陣列 （就是大家說(shuō)的IOE），當(dāng)然數(shù)據(jù)庫(kù)有部分DB2，Teradata等。

報(bào)表基本都是固定的靜態(tài)報(bào)表，產(chǎn)生的方式是T+1 （無(wú)法即時(shí)產(chǎn)生）。

數(shù)據(jù)量增長(zhǎng)相對(duì)緩慢，DW的環(huán)境變化很少。

最終用戶(hù)只能看匯總的報(bào)表，很少能夠基于匯總數(shù)據(jù)做動(dòng)態(tài)drilldown （鉆取）。

多數(shù)領(lǐng)導(dǎo)基本上認(rèn)為花了很多錢(qián)，但看不出是否值得做，有雞肋的感覺(jué)。最后大家對(duì)大量的報(bào)表都視而不見(jiàn)了。

這類(lèi)系統(tǒng)屬于“高富帥”，是有錢(qián)的企業(yè)給領(lǐng)導(dǎo)用的。

最后，目前多數(shù)企業(yè)和部門(mén)根本就沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)。其實(shí)大家對(duì)傳統(tǒng)數(shù)據(jù)的分析還沒(méi)做得太好、還沒(méi)有普及，現(xiàn)在又遇上了大數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)對(duì)企業(yè)是真正有用的，其關(guān)鍵還是如何把數(shù)據(jù)用好。

7. 數(shù)據(jù)處理技術(shù)的核心問(wèn)題到底是什么？

其實(shí)我們一直面臨著數(shù)據(jù)處理中最核心、最大的問(wèn)題，那就是性能問(wèn)題。性能不好的技術(shù)和產(chǎn)品是沒(méi)有生命力的。數(shù)據(jù)處理性能問(wèn)題不是因?yàn)榇髷?shù)據(jù)才出現(xiàn)，也不會(huì)有了大數(shù)據(jù)技術(shù)而消失。處理性能的提升將促進(jìn)對(duì)數(shù)據(jù)價(jià)值的挖掘和使用，而數(shù)據(jù)價(jià)值挖掘的越多、越深入，對(duì)處理技術(shù)要求就越高。

目前的數(shù)據(jù)倉(cāng)庫(kù)只能滿(mǎn)足一些靜態(tài)統(tǒng)計(jì)需求，而且是T+1模式；也是因?yàn)樾阅軉?wèn)題，運(yùn)營(yíng)商無(wú)法有效構(gòu)造超過(guò)PB級(jí)別的大數(shù)據(jù)倉(cāng)庫(kù)，無(wú)法提供即席查詢(xún)、自助分析、復(fù)雜模型迭代分析的能力，更無(wú)法讓大量一線(xiàn)人員使用數(shù)據(jù)分析手段。

今天如果做“大數(shù)據(jù)”數(shù)據(jù)倉(cāng)庫(kù)，運(yùn)營(yíng)商面臨的挑戰(zhàn)比上個(gè)10年要大的多。目前沒(méi)有單一技術(shù)和平臺(tái)能夠滿(mǎn)足類(lèi)似運(yùn)營(yíng)商的數(shù)據(jù)分析需求。可選的方案只能是混搭架構(gòu)，用不同的分布式技術(shù)來(lái)支撐一個(gè)超越PB級(jí)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。這個(gè)混搭架構(gòu)主要的核心是新一代的MPP并行數(shù)據(jù)庫(kù)集群+ Hadoop集群，再加上一些內(nèi)存計(jì)算、甚至流計(jì)算技術(shù)等。

大數(shù)據(jù)需要多元化的技術(shù)來(lái)支撐。當(dāng)前數(shù)據(jù)處理對(duì)企業(yè)的挑戰(zhàn)越來(lái)越大，主要是下面幾個(gè)原因：

第一個(gè)原因是數(shù)據(jù)量已經(jīng)是上一代的一個(gè)數(shù)量級(jí)了，1個(gè)省份級(jí)運(yùn)營(yíng)商1年就可超越1PB結(jié)構(gòu)化數(shù)據(jù)。

第二個(gè)原因是“大數(shù)據(jù)”關(guān)注的更多是用戶(hù)行為、群體趨勢(shì)、事件之間的相關(guān)性等，而不僅僅是過(guò)去的KPI，。這就對(duì)數(shù)據(jù)分析平臺(tái)對(duì)數(shù)據(jù)的分析能力和性能提出了新的要求和挑戰(zhàn)。

圖2未來(lái)大數(shù)據(jù)處理的核心技術(shù)

8. 總結(jié)——新型MPP數(shù)據(jù)庫(kù)的價(jià)值

技術(shù)：基于列存儲(chǔ)+MPP架構(gòu)的新型數(shù)據(jù)庫(kù)在核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫(kù)有巨大差別，是為面向結(jié)構(gòu)化數(shù)據(jù)分析設(shè)計(jì)開(kāi)發(fā)的，能夠有效處理PB級(jí)別的數(shù)據(jù)量。在技術(shù)上為很多行業(yè)用戶(hù)解決了數(shù)據(jù)處理性能問(wèn)題。

用戶(hù)價(jià)值：新型數(shù)據(jù)庫(kù)是運(yùn)行在x-86 PC服務(wù)器之上的，可以大大降低數(shù)據(jù)處理的成本（1個(gè)數(shù)量級(jí)）。

未來(lái)趨勢(shì)：新型數(shù)據(jù)庫(kù)將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力；用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿(mǎn)足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。

下圖是南大通用正在做的大數(shù)據(jù)處理平臺(tái)架構(gòu)圖，將逐步把MPP與Hadoop技術(shù)融合在一起，為用戶(hù)提供透明的數(shù)據(jù)管理平臺(tái)。

圖3 MPP與Hadoop技術(shù)融合的產(chǎn)品架構(gòu)圖

總結(jié)

以上是生活随笔為你收集整理的三种最典型的大数据存储技术路线的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。