00:02:05 成交額超100億
00:57:56 成交額超666億
01:47:26 成交額超1000億
15:49:39 成交額超1682億
22:28:37 成交額超2000億

2018年雙11新紀(jì)錄2135億

高速跳轉(zhuǎn)的數(shù)字，不斷刷新的狀態(tài)，光纜中狂奔的代碼，鍵盤上飛舞的手指…

新的記錄
絕非十年前的記錄
也非2017年的記錄

是產(chǎn)品專家緊抓不放的記錄
是技術(shù)專家誓要征服的記錄

是方案冷靜的記錄
是技術(shù)求精的記錄
是框架穩(wěn)定的記錄
是系統(tǒng)健壯的記錄
?

---

數(shù)據(jù)平臺(tái)，計(jì)算創(chuàng)造價(jià)值

2004年，為了從大數(shù)據(jù)中分析當(dāng)前狀況，并預(yù)測未來的趨勢，阿里擁有了第一個(gè)大數(shù)據(jù)倉庫，到2008年，淘寶的業(yè)務(wù)量與數(shù)據(jù)量已達(dá)到2004年的數(shù)千倍，為了讓數(shù)據(jù)成為生產(chǎn)資料，從底層重構(gòu)大數(shù)據(jù)技術(shù)就顯得尤為重要。

2010年春，大數(shù)據(jù)引擎MaxCompute的前身SQL Engine第一版上線，運(yùn)行在當(dāng)時(shí)30臺(tái)機(jī)器的飛天集群上。

2011年，飛天團(tuán)隊(duì)開始探索支撐集團(tuán)內(nèi)部數(shù)倉業(yè)務(wù)，在1500臺(tái)機(jī)器上并行運(yùn)行云梯2的生產(chǎn)作業(yè)，并取得了不輸于Hadoop的性能和穩(wěn)定性成績。

飛天5K項(xiàng)目之后，MaxCompute隨之進(jìn)入5000臺(tái)機(jī)器和跨機(jī)房調(diào)度時(shí)代，并且可以在377秒完成100TB的排序。

現(xiàn)在，MaxCompute已經(jīng)成為阿里巴巴的主力計(jì)算平臺(tái)，阿里巴巴集團(tuán)99%的數(shù)據(jù)存儲(chǔ)以及95%的計(jì)算能力使用MaxCompute；每天有超過500萬個(gè)作業(yè)在平臺(tái)上運(yùn)行。
?

2018完美支撐全球“最猛”交易洪峰

通過MaxCompute引擎助力，從2014年雙11開始，千人千面成為常態(tài)。MaxCompute作為11項(xiàng)目背后大規(guī)模計(jì)算的秘密武器，承受住了雙11期間大規(guī)模集群、海量數(shù)據(jù)、高并發(fā)量的極大考驗(yàn)。

MaxCompute單日數(shù)據(jù)處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過500PB，不斷挑戰(zhàn)新極限，不斷刷新新紀(jì)錄。同時(shí)MaxCompute平穩(wěn)支撐電商混布單元在線流量洪峰12萬筆/s交易，穩(wěn)定承載45%導(dǎo)購流量，順利完成1200臺(tái)DB業(yè)務(wù)混部的目標(biāo)，為雙11交易峰值提供了有力保障和平滑支撐。

雙11期間，除了天貓、淘寶、阿里集團(tuán)之外，MaxCompute還為金融、支付、新零售等各行業(yè)提供強(qiáng)有力的計(jì)算服務(wù)。
?

阿里大數(shù)據(jù)計(jì)算能力，走出集團(tuán)服務(wù)全球

幾年過去，通過大數(shù)據(jù)與人工智能算法的結(jié)合，MaxCompute已成為ET大腦最重要的組成部分，ET城市大腦自動(dòng)指揮城市路口信號(hào)燈，并且成功應(yīng)用于馬來西亞的交通治理；ET工業(yè)大腦推動(dòng)工廠取得更好的良品率，致力于幫助制造企業(yè)提升1%的良品率。

從數(shù)字化阿里到數(shù)字化城市，MaxCompute可以承載EB級(jí)的數(shù)據(jù)存儲(chǔ)能力，成為全球首個(gè)100TB規(guī)模Bigbench測試通過的大數(shù)據(jù)計(jì)算平臺(tái)；在公共云上覆蓋國內(nèi)外的十幾個(gè)國家和地區(qū)，專有云上部署超過100+套。

MaxCompute不只是單一引擎，更是面向企業(yè)的完整服務(wù)。過去的10年中，MaxCompute穩(wěn)定支撐阿里集團(tuán)所有數(shù)據(jù)業(yè)務(wù)的同時(shí)，早已將強(qiáng)大的數(shù)據(jù)能力普惠給廣泛的云上企業(yè)。基于MaxCompute構(gòu)建穩(wěn)定、安全、可擴(kuò)展及與應(yīng)用系統(tǒng)高效交互的數(shù)據(jù)中臺(tái)，已成為眾多行業(yè)下客戶數(shù)字轉(zhuǎn)型的首選方案。

從線上到線下，從生產(chǎn)制造到互聯(lián)網(wǎng)電商，從國內(nèi)到海外，MaxCompute的計(jì)算能力正在延伸到各行各業(yè)，極大地降低了社會(huì)的計(jì)算成本。

每一次挑戰(zhàn)，都讓MaxCompute站在新的起點(diǎn)，不喧嘩，自有聲，壯志在胸。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的双11奇迹背后的大数据平台，不喧哗，自有声！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。