2016 年1月20日，在云棲大會上阿里云發(fā)布了一站式大數(shù)據(jù)平臺“數(shù)加”，該平臺集合了阿里巴巴十年的大數(shù)據(jù)能力以及上萬名工程師實(shí)戰(zhàn)檢驗(yàn)，該平臺是一站式的解決方案，首批亮相20款產(chǎn)品，覆蓋數(shù)據(jù)采集、計(jì)算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)生產(chǎn)全鏈條。

數(shù)加平臺由大數(shù)據(jù)計(jì)算服務(wù)(MaxCompute)、分析型數(shù)據(jù)庫（Analytic DB）、流計(jì)算（StreamCompute）共同組成了底層強(qiáng)大的計(jì)算引擎，速度更快、成本更低。計(jì)算引擎之上，“數(shù)加”提供了豐富的云端數(shù)據(jù)開發(fā)套件，包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運(yùn)維視屏、數(shù)據(jù)質(zhì)量、任務(wù)監(jiān)控等在內(nèi)。

“數(shù)加”還向有數(shù)據(jù)開發(fā)能力的團(tuán)隊(duì)開放，這些團(tuán)隊(duì)可入駐“數(shù)加”，借助數(shù)加上的工具為各行各業(yè)提供數(shù)據(jù)服務(wù)。大數(shù)據(jù)開發(fā)套件的優(yōu)勢包括：支持100人以上協(xié)同設(shè)計(jì)、開發(fā)、運(yùn)維；具有良好的擴(kuò)展性；提供各個(gè)產(chǎn)品功能模塊的Open API，可二次開發(fā)；多個(gè)數(shù)據(jù)實(shí)例之間的數(shù)據(jù)授權(quán)機(jī)制，確保數(shù)據(jù)只能使用卻不可見；提供白屏化的運(yùn)維能力，以及字段級數(shù)據(jù)質(zhì)量監(jiān)控、機(jī)器預(yù)警、資源使用率監(jiān)控等功能，讓用戶更好的掌控自己的數(shù)據(jù)及數(shù)據(jù)任務(wù)。

一、6小時(shí)處理100PB數(shù)據(jù)、Analytic DB支持百億量級多維查詢只需100毫秒

大數(shù)據(jù)計(jì)算服務(wù)可6小時(shí)處理100PB數(shù)據(jù)，相當(dāng)于1億部高清電影。單集群規(guī)模過萬臺，并支持多集群聯(lián)合計(jì)算。做到了速度更快，成本更低。經(jīng)測算，自建Hadoop集群的成本是數(shù)加的1.5倍，國外計(jì)算廠商AWS 的EMR成本更是數(shù)加的5倍。

此次發(fā)布的產(chǎn)品還覆蓋數(shù)據(jù)采集、計(jì)算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)生產(chǎn)全鏈條。具體來看：

• 數(shù)據(jù)采集方面：Datahub可為用戶提供實(shí)時(shí)數(shù)據(jù)的發(fā)布和訂閱功能；
• 底層計(jì)算引擎：由大數(shù)據(jù)計(jì)算服務(wù)MaxCompute（原ODPS）、分析型數(shù)據(jù)庫Analytic DB、流計(jì)算StreamCompute共同組成。

1. 大數(shù)據(jù)計(jì)算服務(wù)可6小時(shí)處理100PB數(shù)據(jù)，相當(dāng)于1億部高清電影；單集群規(guī)模過萬臺，并支持多集群聯(lián)合計(jì)算。做到了速度更快，成本更低；
2. 分析型數(shù)據(jù)庫Analytic DB可實(shí)現(xiàn)對數(shù)據(jù)的實(shí)時(shí)多維分析，百億量級多維查詢只需100毫秒；
3. 流計(jì)算StreamCompute對實(shí)時(shí)流式數(shù)據(jù)進(jìn)行分析，具有低延時(shí)、高性能的特點(diǎn)。每秒查詢率可以達(dá)到千萬級，日均處理萬億條消息、PB量級的數(shù)據(jù)。

• 數(shù)據(jù)分析方面：

1. Mobile Analytics 讓開發(fā)者可快速搭建日志采集、分析系統(tǒng)，從而為用戶提供個(gè)性化服務(wù)；
2. DataV 通過數(shù)加BI報(bào)表產(chǎn)品，3分鐘即可完成海量數(shù)據(jù)的分析報(bào)告。產(chǎn)品支持多種云數(shù)據(jù)源，提供近20種可視化效果；
3. 通過數(shù)據(jù)可視化產(chǎn)品DataV，一星期就能做出雙11同款大屏；
4. 基于DataV，數(shù)加還發(fā)布了面向政府的行業(yè)應(yīng)用產(chǎn)品“郡縣圖治”：通過這款產(chǎn)品，縣長可以在一個(gè)屏幕下統(tǒng)覽全縣各項(xiàng)經(jīng)濟(jì)民生數(shù)據(jù)，為政府決策提供輔助。

• 機(jī)器學(xué)習(xí)方面：

1. 可基于海量數(shù)據(jù)實(shí)現(xiàn)對用戶行為、行業(yè)走勢、天氣、交通等的預(yù)測；
2. 圖形化編程讓用戶無需編碼、只需用鼠標(biāo)拖拽標(biāo)準(zhǔn)化組件即可完成開發(fā)；
3. 產(chǎn)品還集成了阿里巴巴核心算法庫，包括特征工程、大規(guī)模機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等
4. 提供了全面支持，包括規(guī)則引擎、推薦引擎、文字識別、智能語音交互等；比如規(guī)則引擎是一款用于解決業(yè)務(wù)規(guī)則頻繁變化的在線服務(wù)，可通過簡單組合預(yù)定義的條件因子編寫業(yè)務(wù)規(guī)則，并做出業(yè)務(wù)決策。而文字識別提供自然場景下拍攝的圖片中英文文字檢測、識別以及常見的證件類檢測和識別。智能語音交互基于語音和自然語言技術(shù)構(gòu)建的在線服務(wù)，為智能手機(jī)，智能電視以及物聯(lián)網(wǎng)等產(chǎn)品提供“能聽、會說、懂你”式的智能人機(jī)交互體驗(yàn)。

阿里云的大數(shù)據(jù)平臺數(shù)加的整體架構(gòu)

二、追溯數(shù)加平臺的前世今生

1. 數(shù)加平臺的起源

第一個(gè)數(shù)據(jù)倉庫——阿里大數(shù)據(jù)分析的雛形

在2004年5月，為了從大數(shù)據(jù)中分析當(dāng)前狀況，并預(yù)測未來的趨勢，出現(xiàn)了第一個(gè)大數(shù)據(jù)倉庫；到2008年，淘寶的業(yè)務(wù)量與數(shù)據(jù)量已達(dá)到04年的數(shù)千倍，按照這樣的趨勢，不出幾年IOE的成本就會將公司拖到破產(chǎn)。鑒于Oracle的性能已經(jīng)不足以支撐新的業(yè)務(wù)量，底層技術(shù)架構(gòu)亟需升級。到2009年，新的數(shù)據(jù)公司成立。

2. 阿里云和阿里金融的誕生

當(dāng)時(shí)，整個(gè)服務(wù)器與全部信息四處分散，整個(gè)數(shù)倉的邏輯是以很多腳本拼湊而成。由于其中的邏輯過于復(fù)雜，一旦系統(tǒng)出錯(cuò)，只有專人才能解決。彼時(shí)還存在諸多問題，包括：服務(wù)器利用率低、信息孤島、數(shù)據(jù)冗余、基礎(chǔ)建設(shè)一窮二白，而且由于云計(jì)算技術(shù)還是新興技術(shù)，存在著安全隱患。

為了解決這些問題，阿里決定成立阿里云，從底層重構(gòu)云計(jì)算及大數(shù)據(jù)技術(shù)。同時(shí)，為了實(shí)現(xiàn)自主可控，阿里金融成立。

阿里金融的成立意義重大，整個(gè)管理層從中真正看到了數(shù)據(jù)公司的雛形。總結(jié)來說，在這樣的公司中：數(shù)據(jù)是它的生產(chǎn)資料；只有把這些數(shù)據(jù)集中融合，才能產(chǎn)生這種業(yè)務(wù)。

只有集中融合數(shù)據(jù)，才能產(chǎn)生這種業(yè)務(wù)

不過隨著時(shí)間推移，到2010年，雖然大家承認(rèn)這種模式很好，但實(shí)際上還存在著嚴(yán)重的問題：一是在生產(chǎn)資料方面：如何集中和打通這些數(shù)據(jù)，實(shí)際上歷史數(shù)據(jù)是很欠缺的。之前大家并沒有這方面的意識，因此沒有保留歷史數(shù)據(jù)，變更都是直接替換。二是在生產(chǎn)工具方面：阿里系統(tǒng)需要大量的計(jì)算，那么如何解決大規(guī)模計(jì)算問題？

三、大數(shù)據(jù)計(jì)算服務(wù)（ODPS）進(jìn)化史

原ODPS，現(xiàn)MAXCOMPUTE的進(jìn)化史

由于諸多問題，數(shù)據(jù)應(yīng)用急需改革與整合：信息重復(fù)存儲、標(biāo)準(zhǔn)不一，存在很多小集群，基礎(chǔ)建設(shè)每年需投入幾十億；而且每一塊業(yè)務(wù)都可能需要淘寶的內(nèi)部表，因而研發(fā)成本較高；同時(shí)信息獲取時(shí)間較長，一個(gè)數(shù)據(jù)需要等半年；另外搜索數(shù)據(jù)也很困難。

1. 數(shù)據(jù)平臺部成立

最終，在2012年數(shù)據(jù)平臺部（CDO）成立，具體執(zhí)行的工作可以總結(jié)為三個(gè)詞：存、通、用。“存”將數(shù)據(jù)大集中，存入ODPS；“通”：統(tǒng)一規(guī)范，打通各個(gè)業(yè)務(wù)單位；“用”：推動數(shù)據(jù)開放和交換，促發(fā)展，養(yǎng)生態(tài)。

一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化

2. 成立ODPS

2012年，我們還計(jì)劃將集團(tuán)內(nèi)部幾十個(gè)小集群進(jìn)行統(tǒng)一，這個(gè)任務(wù)又稱登月計(jì)劃。到了2013年，我們決定將整個(gè)集團(tuán)的業(yè)務(wù)集中在一個(gè)平臺上，不僅是阿里系統(tǒng)可以使用，其他業(yè)務(wù)也能使用。因此我們將原本的數(shù)據(jù)倉庫改名為大數(shù)據(jù)計(jì)算服務(wù)（ODPS），并將所有金融業(yè)務(wù)所需要的數(shù)據(jù)放在云端，集中到ODPS上。

3. 大數(shù)據(jù)基礎(chǔ)設(shè)施成熟，開始創(chuàng)業(yè)

2015年，大數(shù)據(jù)基礎(chǔ)設(shè)施成熟,既然阿里在數(shù)據(jù)方面有這么多的經(jīng)驗(yàn)，有這么多的能力，我們想要將這樣的能力分享給其他創(chuàng)業(yè)者，讓普惠大數(shù)據(jù)成為現(xiàn)實(shí)。所謂的“普惠大數(shù)據(jù)”這個(gè)概念，可以簡單表述為：讓大數(shù)據(jù)為人人可用；大家用得起、用的快，用的好；生態(tài)化，要和服務(wù)商共享三年，共享一萬億的計(jì)劃。

4.? 數(shù)加平臺推出：

此時(shí)的問題在于產(chǎn)品化不足：如何將這個(gè)平臺商業(yè)化，將內(nèi)部使用的產(chǎn)品調(diào)整成公共平臺；產(chǎn)品獨(dú)立部署的問題：平臺與之前內(nèi)部系統(tǒng)聯(lián)系緊密，需要剝離；需要適應(yīng)具體客戶的需求。

最終確定了下面的解決辦法：將整個(gè)平臺拆小，拆分成不同功能的模塊；將產(chǎn)品從原有系統(tǒng)中剝離出來；3)既然阿里擅長平臺，我們先把平臺做好，再與所有行業(yè)伙伴一同合作。

直到2016年1月，數(shù)加平臺支持對外服務(wù)。

數(shù)加平臺支持對外服務(wù)

四、數(shù)加平臺提供的服務(wù)

1. 如何為客戶提供服務(wù)

簡單來講有以下三點(diǎn)，首先是回歸商業(yè)本質(zhì)：每筆業(yè)務(wù)有相應(yīng)的費(fèi)用；其次是解決業(yè)務(wù)問題：有專門的咨詢團(tuán)隊(duì)，必要時(shí)可以與客戶面對面溝通來協(xié)同客戶開發(fā)；最后，拓展自己的商業(yè)邊界：從已有數(shù)據(jù)總結(jié)，發(fā)現(xiàn)新的商業(yè)機(jī)會。

2. 具體業(yè)務(wù)問題的解決

在缺乏精準(zhǔn)化運(yùn)營的情況下，公司在決策時(shí)只能靠猜或者靠蒙。為了解決這個(gè)問題，首先需要樹立指標(biāo)。

• 例如在叫車場景中：司機(jī)和乘客兩端，乘客是降低等待時(shí)長，司機(jī)是降低空駛率，需要優(yōu)化這兩個(gè)指標(biāo)。另外，不能盲目在中間流程加內(nèi)容。

從微創(chuàng)型小點(diǎn)出發(fā)，從旁路來做優(yōu)化設(shè)計(jì)，這就是典型的旁路設(shè)計(jì)。比如司機(jī)現(xiàn)在有個(gè)單子，想要不停地接單。設(shè)計(jì)方式如下，首先是標(biāo)簽：司機(jī)在過去二十分鐘之內(nèi)接過單；其次，當(dāng)前司機(jī)手頭上定單的終點(diǎn)有人在打車。將其拆成兩條規(guī)則，把類似的接力單、返程單、交接班單統(tǒng)統(tǒng)用數(shù)據(jù)描述，這就是典型的用數(shù)據(jù)進(jìn)行業(yè)務(wù)的產(chǎn)品。

• 例如在商業(yè)WIFI公司通過創(chuàng)建O2O營銷平臺時(shí)：首先根據(jù)客流和商鋪數(shù)據(jù)挖掘人物對商鋪的興趣圖譜、商鋪之間的關(guān)系網(wǎng)；其次整合標(biāo)簽做多維透視，深度刻畫人群畫像，為商鋪提供分析平臺；最后使用定向運(yùn)營為商鋪提活動定向，精準(zhǔn)觸達(dá)目標(biāo)客戶。

這樣一來，通過強(qiáng)大的分析引擎，我們支撐了分析平臺的功能研發(fā)，并實(shí)現(xiàn)了精準(zhǔn)定向?qū)崿F(xiàn)用戶準(zhǔn)確觸達(dá)。

3. 關(guān)于數(shù)據(jù)可視化

針對不同角色，所需要設(shè)計(jì)的內(nèi)容也不同，而且要具有啟發(fā)式，利于公司領(lǐng)導(dǎo)者進(jìn)行決策。

五、未來展望

“技術(shù)是沒有門派的，服務(wù)也是沒有邊界的。任何的技術(shù)的誕生都是源于最終用戶的需求和服務(wù)。”當(dāng)阿里云與九州云、潤和軟件、創(chuàng)客+、國家氣象局、NVIDIA簽署戰(zhàn)略合作時(shí)，阿里云資深總監(jiān)李津這樣說道。

通過技術(shù)融合服務(wù)于用戶，這是整個(gè)數(shù)加平臺真正的生態(tài)價(jià)值所在，也是未來云技術(shù)的發(fā)展趨勢。

大數(shù)據(jù)在各行各業(yè)都發(fā)揮著自己的作用，包括水利、氣象以及未來的海洋、地震、國土等重大基礎(chǔ)資源管理的行業(yè)和部門；還有交通、娛樂、物流、健康等創(chuàng)新型行業(yè)；也包含人機(jī)交互、全渠道CRM等計(jì)算機(jī)相關(guān)領(lǐng)域。

有了這樣的生態(tài)和阿里云的數(shù)加大平臺在一起，阿里云計(jì)劃用3年時(shí)間吸引1000家合作伙伴入駐，能夠通過數(shù)加這個(gè)平臺，能夠培養(yǎng)一千位首席數(shù)據(jù)官，更希望能培養(yǎng)出五萬名數(shù)據(jù)科學(xué)家。

總結(jié)

以上是生活随笔為你收集整理的阿里十年经验输出，大数据平台“数加”的前世今生的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。