双11奇迹背后的大数据平台,不喧哗,自有声!
00:02:05 成交額超100億
00:57:56 成交額超666億
01:47:26 成交額超1000億
15:49:39 成交額超1682億
22:28:37 成交額超2000億
2018年雙11新紀錄2135億
高速跳轉的數字,不斷刷新的狀態,光纜中狂奔的代碼,鍵盤上飛舞的手指…
新的記錄
絕非十年前的記錄
也非2017年的記錄
是產品專家緊抓不放的記錄
是技術專家誓要征服的記錄
是方案冷靜的記錄
是技術求精的記錄
是框架穩定的記錄
是系統健壯的記錄
?
數據平臺,計算創造價值
2004年,為了從大數據中分析當前狀況,并預測未來的趨勢,阿里擁有了第一個大數據倉庫,到2008年,淘寶的業務量與數據量已達到2004年的數千倍,為了讓數據成為生產資料,從底層重構大數據技術就顯得尤為重要。
2010年春,大數據引擎MaxCompute的前身SQL Engine第一版上線,運行在當時30臺機器的飛天集群上。
2011年,飛天團隊開始探索支撐集團內部數倉業務,在1500臺機器上并行運行云梯2的生產作業,并取得了不輸于Hadoop的性能和穩定性成績。
飛天5K項目之后,MaxCompute隨之進入5000臺機器和跨機房調度時代,并且可以在377秒完成100TB的排序。
現在,MaxCompute已經成為阿里巴巴的主力計算平臺,阿里巴巴集團99%的數據存儲以及95%的計算能力使用MaxCompute;每天有超過500萬個作業在平臺上運行。
?
2018完美支撐全球“最猛”交易洪峰
通過MaxCompute引擎助力,從2014年雙11開始,千人千面成為常態。MaxCompute作為11項目背后大規模計算的秘密武器,承受住了雙11期間大規模集群、海量數據、高并發量的極大考驗。
MaxCompute單日數據處理量從2015年100PB,2016年180PB,到2017年320PB,再到2018年的單日處理超過500PB,不斷挑戰新極限,不斷刷新新紀錄。同時MaxCompute平穩支撐電商混布單元在線流量洪峰12萬筆/s交易,穩定承載45%導購流量,順利完成1200臺DB業務混部的目標,為雙11交易峰值提供了有力保障和平滑支撐。
雙11期間,除了天貓、淘寶、阿里集團之外,MaxCompute還為金融、支付、新零售等各行業提供強有力的計算服務。
?
阿里大數據計算能力,走出集團服務全球
幾年過去,通過大數據與人工智能算法的結合,MaxCompute已成為ET大腦最重要的組成部分,ET城市大腦自動指揮城市路口信號燈,并且成功應用于馬來西亞的交通治理;ET工業大腦推動工廠取得更好的良品率,致力于幫助制造企業提升1%的良品率。
從數字化阿里到數字化城市,MaxCompute可以承載EB級的數據存儲能力,成為全球首個100TB規模Bigbench測試通過的大數據計算平臺;在公共云上覆蓋國內外的十幾個國家和地區,專有云上部署超過100+套。
MaxCompute不只是單一引擎,更是面向企業的完整服務。過去的10年中,MaxCompute穩定支撐阿里集團所有數據業務的同時,早已將強大的數據能力普惠給廣泛的云上企業?;贛axCompute構建穩定、安全、可擴展及與應用系統高效交互的數據中臺,已成為眾多行業下客戶數字轉型的首選方案。
從線上到線下,從生產制造到互聯網電商,從國內到海外,MaxCompute的計算能力正在延伸到各行各業,極大地降低了社會的計算成本。
每一次挑戰,都讓MaxCompute站在新的起點,不喧嘩,自有聲,壯志在胸。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的双11奇迹背后的大数据平台,不喧哗,自有声!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 大数据驱动业务决策,CDN实时日志重磅上
- 下一篇: 分布式事务中间件 Fescar - 全局