大數(shù)據(jù)時(shí)代，隨著企業(yè)數(shù)據(jù)規(guī)模的急劇增長(zhǎng)，傳統(tǒng)軟件已無(wú)法承載，這也推動(dòng)了大數(shù)據(jù)技術(shù)的發(fā)展，Google、AWS、微軟等硅谷巨頭紛紛投入大數(shù)據(jù)技術(shù)的研發(fā)；而在國(guó)內(nèi)，王堅(jiān)也在十年前帶領(lǐng)阿里云團(tuán)隊(duì)研發(fā)MaxCompute，率先在國(guó)內(nèi)開(kāi)啟大數(shù)據(jù)計(jì)算平臺(tái)的自研之路。

十年后，MaxCompute已經(jīng)可以承載EB級(jí)別的數(shù)據(jù)存儲(chǔ)能力、百PB級(jí)的單日計(jì)算能力，在公共云上已經(jīng)覆蓋了國(guó)內(nèi)外的十幾個(gè)國(guó)家和地區(qū)，電商、工業(yè)、醫(yī)療、農(nóng)業(yè)、氣象、教育等諸多行業(yè)企業(yè)開(kāi)始采用這項(xiàng)技術(shù)，輕松處理海量數(shù)據(jù)，為社會(huì)和消費(fèi)者提供服務(wù)。

MaxCompute的自研之路

事實(shí)上，阿里大數(shù)據(jù)的發(fā)展歷程映射出整個(gè)大數(shù)據(jù)行業(yè)的發(fā)展史。

十年前，阿里巴巴比其它公司更早地遇到互聯(lián)網(wǎng)規(guī)模化帶來(lái)的挑戰(zhàn)。當(dāng)時(shí)全球企業(yè)的數(shù)據(jù)庫(kù)基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集群，計(jì)算規(guī)模達(dá)百TB級(jí)別。

按照當(dāng)時(shí)淘寶用戶(hù)量的增長(zhǎng)速度，Oracle集群很快將無(wú)法支撐業(yè)務(wù)發(fā)展，而最核心的問(wèn)題就是算力不足。盡管當(dāng)時(shí)阿里已開(kāi)始把數(shù)據(jù)遷移到更大規(guī)模的Greenplum，但后者在百臺(tái)機(jī)器規(guī)模時(shí)就遇到瓶頸，給業(yè)務(wù)增長(zhǎng)造成極大阻礙。

此外，Hadoop之類(lèi)的開(kāi)源技術(shù)在可靠性、安全性上也遭遇了天花板。

2008年，王堅(jiān)帶著解決大規(guī)模算力瓶頸的任務(wù)加入阿里。他發(fā)現(xiàn)，無(wú)論是Oracle還是Greenplum、Hadoop，都不是大規(guī)模數(shù)據(jù)計(jì)算的最優(yōu)解，必須自研一套自己的大數(shù)據(jù)處理平臺(tái)。

2009年這項(xiàng)關(guān)于大數(shù)據(jù)的技術(shù)長(zhǎng)征開(kāi)始。王堅(jiān)帶隊(duì)，目標(biāo)是自研大數(shù)據(jù)計(jì)算平臺(tái)MaxCompute統(tǒng)一阿里巴巴內(nèi)部的數(shù)據(jù)和大數(shù)據(jù)計(jì)算體系。

事實(shí)證明，阿里做了正確的選擇。

四年攻堅(jiān)，MaxCompute終于取得重大突破：2013年8月15日，阿里云歷史性地突破了同一個(gè)集群內(nèi)5000臺(tái)服務(wù)器同時(shí)計(jì)算的局限，為未來(lái)的大規(guī)模服務(wù)奠定基礎(chǔ)。十年后，單集群規(guī)模已超過(guò)1萬(wàn)臺(tái)，能做到這一能力的科技公司在全球都寥寥可數(shù)。

在阿里云云棲小鎮(zhèn)，還豎著一尊飛天5K的紀(jì)念碑，碑上刻著參與解決這一技術(shù)難題的技術(shù)人員名字。

解決世界級(jí)算力難題

通過(guò)大數(shù)據(jù)計(jì)算平臺(tái)，可以讓訂單實(shí)時(shí)準(zhǔn)確匯聚，也可以精準(zhǔn)預(yù)測(cè)變幻莫測(cè)的天氣變化，各行各業(yè)都在大規(guī)模使用大數(shù)據(jù)來(lái)提供更好的服務(wù)，而實(shí)現(xiàn)這一能力就是海量數(shù)據(jù)分析的結(jié)果。?

但要處理好這些數(shù)據(jù)并不容易。除了數(shù)據(jù)量的劇增，不同行業(yè)數(shù)據(jù)類(lèi)型豐富多樣，如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，都給大數(shù)據(jù)計(jì)算平臺(tái)帶來(lái)新的挑戰(zhàn)。

MaxCompute的創(chuàng)新之處就是采用Datalake技術(shù)，把不同的數(shù)據(jù)源用類(lèi)似的方式存儲(chǔ)，用統(tǒng)一的方法計(jì)算，提供一套標(biāo)準(zhǔn)化語(yǔ)言，快速實(shí)現(xiàn)不同類(lèi)型數(shù)據(jù)的計(jì)算。

基于這套創(chuàng)新技術(shù)，2015、2016年，阿里云刷新世界計(jì)算奧運(yùn)會(huì)SortBenchmark的六項(xiàng)世界紀(jì)錄；2017年，完成全球首次基于公共云的100TB BigBench大數(shù)據(jù)基準(zhǔn)測(cè)試。

如何快速“查詢(xún)”也是大數(shù)據(jù)計(jì)算的核心之一。MaxCompute采用“交互式查詢(xún)”來(lái)解決海量數(shù)據(jù)查詢(xún)慢的瓶頸，通俗地說(shuō)就是系統(tǒng)可以預(yù)判用戶(hù)將會(huì)做哪些查詢(xún)，提前準(zhǔn)備，大大降低大規(guī)模數(shù)據(jù)查詢(xún)的時(shí)間。

此外，MaxCompute提出多租戶(hù)云安全隔離技術(shù)，突破傳統(tǒng)大數(shù)據(jù)平臺(tái)的安全局限，將安全邊界細(xì)化到用戶(hù)、進(jìn)程、內(nèi)核級(jí)別，完全滿(mǎn)足金融級(jí)的安全需求。

頂級(jí)算力走向世界

過(guò)去十年，MaxCompute能力不斷提升：單日數(shù)據(jù)處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過(guò)600PB。

記錄被不斷刷新，并且得到了權(quán)威機(jī)構(gòu)的認(rèn)可：在Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選，并在產(chǎn)品功能（Current Offering）方面力壓微軟。

這一世界級(jí)的大數(shù)據(jù)計(jì)算能力也逐漸展示其價(jià)值，幫助數(shù)萬(wàn)企業(yè)用更低成本、更高效率計(jì)算海量數(shù)據(jù)，為社會(huì)和消費(fèi)者提供服務(wù)。

在生活領(lǐng)域，墨跡天氣開(kāi)始通過(guò)MaxCompute為4億用戶(hù)提供氣象預(yù)報(bào)服務(wù)，每天的用戶(hù)查詢(xún)超過(guò)5億次。不僅如此，它們的存儲(chǔ)和計(jì)算成本還令人意外地降低70%。

在交通領(lǐng)域，城市大腦在杭州實(shí)時(shí)指揮1300個(gè)紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國(guó)最擁堵城市排行榜上下跌52名。

在工業(yè)領(lǐng)域，阿里云的大數(shù)據(jù)處理技術(shù)幫助制造企業(yè)尋找上千個(gè)參數(shù)的最優(yōu)搭配，提升制造的良品率。協(xié)鑫光伏、天合光能等行業(yè)龍頭企業(yè)，都在嘗試這一全新的生產(chǎn)模式。

在政務(wù)領(lǐng)域，浙江最多跑一次通過(guò)大數(shù)據(jù)處理平臺(tái)打通政務(wù)數(shù)據(jù)，將與老百姓辦事最密切相關(guān)的100個(gè)事項(xiàng)70多億條數(shù)據(jù)，按照統(tǒng)一標(biāo)準(zhǔn)匯入統(tǒng)一的數(shù)據(jù)倉(cāng)，實(shí)現(xiàn)共通共享共用。老百姓辦事不僅能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已進(jìn)入新加坡、歐洲等市場(chǎng)，將這一技術(shù)對(duì)外賦能給更多用戶(hù)。

從線(xiàn)上到線(xiàn)下，從生產(chǎn)制造到互聯(lián)網(wǎng)電商，從國(guó)內(nèi)到海外，MaxCompute的計(jì)算能力正在延伸到各行各業(yè)，極大地降低了社會(huì)的計(jì)算成本。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的十年磨一剑，王坚自研的MaxCompute如何解决世界级算力难题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。