本文講的是大數(shù)據(jù)面臨的挑戰(zhàn)：當(dāng)大數(shù)據(jù)遭遇云計(jì)算,大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢?

　　根據(jù)IDC的報(bào)告，未來(lái)十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬(wàn)億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當(dāng)于每位美國(guó)人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬(wàn)年。在未來(lái)十年，管理數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器的數(shù)量將增加10倍以便迎合50倍的大數(shù)據(jù)增長(zhǎng)。

　　毫無(wú)疑問(wèn)，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲(chǔ)架構(gòu)及數(shù)據(jù)中心基礎(chǔ)設(shè)施等，也會(huì)引發(fā)云計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、商業(yè)智能等應(yīng)用的連鎖反應(yīng)。2011年企業(yè)會(huì)將更多的多TB(1TB=1000GB)數(shù)據(jù)集用于商務(wù)智能和商務(wù)分析;到2020年，全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍，達(dá)到35.2ZB(1ZB=10億TB)。

　　大數(shù)據(jù)面臨的挑戰(zhàn)——RISC已無(wú)法滿足未來(lái)的企業(yè)架構(gòu)需求

　　對(duì)于海量的數(shù)據(jù)信息，如何對(duì)這些數(shù)據(jù)進(jìn)行復(fù)雜的應(yīng)用成了現(xiàn)今數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能和數(shù)據(jù)分析技術(shù)的研究熱點(diǎn)。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應(yīng)用質(zhì)量問(wèn)題。充分利用有用的數(shù)據(jù)，廢棄虛偽無(wú)用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應(yīng)用。傳統(tǒng)的數(shù)據(jù)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)性很強(qiáng)，即其中的數(shù)據(jù)為完全結(jié)構(gòu)化的數(shù)據(jù)，而目前數(shù)據(jù)最大特點(diǎn)就是半結(jié)構(gòu)化，因此此類數(shù)據(jù)挖掘比面向單個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘要復(fù)雜得多。

　　談到傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候，大家不免就會(huì)買存儲(chǔ)設(shè)備，選服務(wù)器，不管是IBM Power或者是Oracle架構(gòu)的，這些其實(shí)都是在傳統(tǒng)時(shí)代非常有名的數(shù)據(jù)庫(kù)品牌，把它構(gòu)建在一起，構(gòu)成數(shù)據(jù)倉(cāng)庫(kù)，微軟、COCNOS等都提供解決方案。

　　但從目前來(lái)看，現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足未來(lái)的企業(yè)大數(shù)據(jù)架構(gòu)。

　　對(duì)企業(yè)業(yè)務(wù)來(lái)說(shuō)，不光要有高擴(kuò)展性，而且是動(dòng)態(tài)的需求，能夠讓設(shè)備自由擴(kuò)充，不用去管數(shù)據(jù)倉(cāng)庫(kù)、應(yīng)用具體運(yùn)行在這些機(jī)器的哪一臺(tái)上，這些計(jì)算能力的耗費(fèi)完全是根據(jù)業(yè)務(wù)的伸縮而來(lái)的。

　　傳統(tǒng)的架構(gòu)做這類的項(xiàng)目十年到二十年的時(shí)間，它們有一個(gè)特點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)的訪問(wèn)和傳統(tǒng)的不同，所謂的不同就是查詢特別大，查詢的語(yǔ)句特別長(zhǎng)、特別復(fù)雜，不像去銀行的存提款只是在眾多的記錄中查詢一兩條，它符合大數(shù)據(jù)查詢的特征，傳統(tǒng)的查詢索引作用非常有限。在數(shù)據(jù)庫(kù)中涉及多張表的連接，同時(shí)還有匯總、算標(biāo)準(zhǔn)差等復(fù)雜的運(yùn)算。但是相反它的并發(fā)請(qǐng)求不是很多，一個(gè)企業(yè)就是人再多，不會(huì)同時(shí)超過(guò)一千個(gè)業(yè)務(wù)分析員在分析數(shù)據(jù)。

　　因此，在數(shù)據(jù)倉(cāng)庫(kù)誕生的第一天，系統(tǒng)一直就有一個(gè)瓶頸，要把大查詢分解成小任務(wù)，這些小任務(wù)由并行的服務(wù)器來(lái)完成，我們強(qiáng)調(diào)小的機(jī)器要多，而不要大的機(jī)器CPU數(shù)少。因此，數(shù)據(jù)倉(cāng)庫(kù)天生就是MPP、開(kāi)放架構(gòu)的CPU加上并行擴(kuò)展橫向擴(kuò)展數(shù)量，從這方面來(lái)看，擴(kuò)展性較差，并行處理能力有限的RISC架構(gòu)已經(jīng)不能代表未來(lái)的企業(yè)架構(gòu)。

　　而以英特爾為代表的X86處理器天生就是為大數(shù)據(jù)應(yīng)用而生，Oracle推出的Exadata數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器采用了英特爾至強(qiáng)(Nehalem)處理器、DDR3內(nèi)存和40Gbps InfiniBand，Exadata數(shù)據(jù)庫(kù)機(jī)第二版的CPU、內(nèi)存和網(wǎng)絡(luò)速度分別提高了80%、200%、100%，單個(gè)數(shù)據(jù)庫(kù)服務(wù)器內(nèi)存容量則達(dá)到了72GB，原始磁盤容量和每機(jī)架磁盤容量達(dá)到100TB、336TB，Sun FlashFire內(nèi)存卡則實(shí)現(xiàn)了高性能的OLTP。

　　當(dāng)大數(shù)據(jù)遭遇云計(jì)算

　　云計(jì)算為什么能盛行呢?在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用系統(tǒng)的構(gòu)建：客戶群體是不確定的、系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應(yīng)用有很清晰的并行分割特征、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的構(gòu)建、數(shù)據(jù)倉(cāng)庫(kù)規(guī)模可估算、數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)投資與業(yè)務(wù)分析的價(jià)值和回報(bào)相關(guān)、商業(yè)智能應(yīng)用屬于整體應(yīng)用、Saas模式構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。

　　在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫(kù)成為熱門話題，這當(dāng)中包括大數(shù)據(jù)管理，分布式進(jìn)行文件系統(tǒng)，如Hadoop、Mapreduce數(shù)據(jù)分割與訪問(wèn)執(zhí)行;同時(shí)SQL支持，以Hive HADOOP為代表的SQL界面支持。從系統(tǒng)需求來(lái)看，大數(shù)據(jù)的架構(gòu)對(duì)系統(tǒng)提出了新的挑戰(zhàn)：

　　1、集成度更高：這意味著一個(gè)標(biāo)準(zhǔn)機(jī)箱最大限度完成特定任務(wù)，華碩不久推出的一款高密度機(jī)架式服務(wù)器RS720，2U高度最大能采用支持4個(gè)雙路計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)單機(jī)8個(gè)英特爾5600系列處理器和高達(dá)總計(jì)768G內(nèi)存資源。

　　2、配置更合理、速度更快：存儲(chǔ)、控制器、I/O通道、內(nèi)存、CPU、網(wǎng)絡(luò)均衡設(shè)計(jì)，針對(duì)數(shù)據(jù)倉(cāng)庫(kù)訪問(wèn)最優(yōu)設(shè)計(jì)，比傳統(tǒng)類似平臺(tái)高出一個(gè)數(shù)量級(jí)以上，這方面的經(jīng)典案例是數(shù)據(jù)倉(cāng)庫(kù)頭號(hào)廠商Teradata，其采用雙路Xeon六核處理器的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)5650可輕松為數(shù)千名用戶處理更復(fù)雜、更大量的工作負(fù)載、持續(xù)負(fù)載以及批負(fù)載、操作性查詢、簡(jiǎn)單報(bào)表和復(fù)雜的分析，所有功能均在同一個(gè)平臺(tái)上運(yùn)行。與上一代產(chǎn)品相比，動(dòng)態(tài)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)5650的性能提高了43%，占地面積保持不變，減少了能源消耗和空間需求。

　　3、整體能耗更低：同等計(jì)算任務(wù)，能耗最低。

　　4、系統(tǒng)更加穩(wěn)定可靠：能夠消除各種單點(diǎn)故障環(huán)節(jié)，統(tǒng)一一個(gè)部件、器件的品質(zhì)和標(biāo)準(zhǔn)。

　　5、管理維護(hù)費(fèi)用低：數(shù)據(jù)藏的常規(guī)管理全部集成。

　　6、可規(guī)劃和預(yù)見(jiàn)的系統(tǒng)擴(kuò)容、升級(jí)路線圖。

　　云計(jì)算環(huán)境作為大數(shù)據(jù)處理平臺(tái)

　　1.云計(jì)算環(huán)境中基本計(jì)算單元的分化

　　企業(yè)云計(jì)算平臺(tái)上雖然有多個(gè)并行計(jì)算的CPU，但并沒(méi)有創(chuàng)造出具有超強(qiáng)數(shù)據(jù)處理能力的超級(jí)CPU，因此云計(jì)算平臺(tái)需要的是有并行運(yùn)算能力的軟件系統(tǒng)。同時(shí)，當(dāng)所有用戶的數(shù)據(jù)全部放在云端時(shí)，雖然存儲(chǔ)容量可以很方便地?cái)U(kuò)充，但面對(duì)大量用戶同時(shí)發(fā)起的海量數(shù)據(jù)處理請(qǐng)求，簡(jiǎn)單的數(shù)據(jù)處理邏輯已經(jīng)無(wú)法滿足需要。

　　可以看到，國(guó)內(nèi)有相當(dāng)多的電商企業(yè)，用小型機(jī)和Oracle扛了好幾年，并請(qǐng)了全國(guó)最牛的Oracle的專家不停優(yōu)化他的Oracle和小型機(jī)，初期發(fā)展可能很快，但是后來(lái)由于數(shù)據(jù)量激增，業(yè)務(wù)開(kāi)始受到嚴(yán)重影響，最典型的例子無(wú)疑是京東商城前段時(shí)間發(fā)生的大規(guī)模訪問(wèn)請(qǐng)求宕機(jī)事件，因此他們開(kāi)始逐漸放棄了Oracle或者M(jìn)S-SQL，并逐漸轉(zhuǎn)向MySQL X86的分布式架構(gòu)。

　　目前的基本計(jì)算單元常常是普通的X86服務(wù)器，它們組成了一個(gè)大的云，而未來(lái)的云計(jì)算單元里有可能有存儲(chǔ)單元、計(jì)算單元、協(xié)調(diào)單元，總體的效率會(huì)更高。

　　2、對(duì)系統(tǒng)穩(wěn)定性的需求

　　在應(yīng)對(duì)大規(guī)模訪問(wèn)的時(shí)候有一些系統(tǒng)穩(wěn)定性的追求，來(lái)自很多方面，來(lái)自網(wǎng)絡(luò)穩(wěn)定性、數(shù)據(jù)庫(kù)穩(wěn)定性。對(duì)系統(tǒng)而言，需要把握一個(gè)大原則，需要消除任何單點(diǎn)故障。不光是網(wǎng)絡(luò)上單點(diǎn)故障，還有來(lái)自你呼叫中心里的單點(diǎn)故障，只要有單點(diǎn)故障一定要消除掉。因?yàn)閷?duì)于電商行業(yè)而言，每一秒都是錢，電子商務(wù)業(yè)務(wù)如果宕機(jī)一個(gè)小時(shí)，損失多少是可以算出來(lái)的，電商行業(yè)需要非常全面的技術(shù)系統(tǒng)監(jiān)控報(bào)警系統(tǒng)。有時(shí)候你會(huì)發(fā)現(xiàn)你如果通過(guò)技術(shù)系統(tǒng)的監(jiān)控去推導(dǎo)出你的技術(shù)發(fā)生問(wèn)題已經(jīng)晚了。

作者：王玉圓

來(lái)源： IT168

原文標(biāo)題：大數(shù)據(jù)面臨的挑戰(zhàn)：當(dāng)大數(shù)據(jù)遭遇云計(jì)算

總結(jié)

以上是生活随笔為你收集整理的大数据面临的挑战：当大数据遭遇云计算的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。