云原生实时数仓首次在2020双11核心数据场景落地
簡介:?這是史上數據量、計算量最大的一年,是實時處理要求最高、與機器智能結合性最強的一次雙11,也是全球最大規模的一次云原生實踐。背后作為數據核心支撐的大數據平臺更是創下新的世界紀錄。
剛剛結束的2020天貓雙11又創下兩項新記錄:交易額4982億,訂單創建峰值每秒58.3萬筆。
這是史上數據量、計算量最大的一年,是實時處理要求最高、與機器智能結合性最強的一次雙11,也是全球最大規模的一次云原生實踐。
背后作為數據核心支撐的大數據平臺更是創下新的世界紀錄。
2020雙11的交易中,阿里云大數據平臺完成云原生史上最大規模的大數據算力和實時處理能力。MaxCompute 批處理單日計算數據量達1.7EB,相當于為全球77億人每人存儲230張1080P高清照片;實時計算Flink峰值40億條/秒,約合7TB/秒,相當于一秒處理500萬本新華字典的信息量;MaxCompute 交互式分析(下稱Hologres)峰值實時寫入5.96億條記錄/秒。
此外,云原生實時數倉首次在2020雙11核心數據場景落地。Flink+Hologres實現商業全鏈路實時化,毫秒級海量數據處理能力,為商家和消費者帶來了更加智能的消費體驗。菜鳥提升物流包裹流轉效率,整體數據鏈路從小時級同步直接優化到3分鐘;餓了么提升單個商圈的獲客效率,商圈Leads密度提升50%以上;CCO客服作息智能調配業務接入應用效率提升,平均等待時間降低;供應鏈平臺供應商入駐效率提升,平均耗時下降78%,駁回率下降55%……
MaxCompute 是面向分析的安全可靠的大數據計算服務,它以Serverless架構提供快速、全托管的在線數倉服務,是阿里經濟體數據中臺的計算核心和阿里云大數據的基礎服務。MaxCompute基于動態資源彈性和統一調度能力,支持阿里經濟體混部,并從物理機和神龍實例升級到安全容器,擁抱云原生和統一調度的整體能力。
MaxCompute 5年來持續刷新TPCx-BigBench世界記錄,今年10月 TPC 官網最新發布 100TB規模達到26000+QPM。
Flink從2015年承載搜索和推薦實時化開始,已經覆蓋阿里經濟體絕大多數實時計算需求,擁有全球領先的實時計算規模。在流批一體的設計理念下,Flink自研了全新的流批SQL統一處理框架、智能優化服務Autopilot和新一代狀態存儲Gemini,大大提升用戶的業務開發和支持效率。在阿里的海量場景打磨之下,Flink開源社區已連續兩年榮膺Apache開源軟件基金會最活躍項目的稱號。
Hologres是自研的分布式實時數據倉庫引擎,歷經多次雙11技術歷練。它支持PB級數據交互式分析場景,面向高吞吐寫入高度優化,支持數據實時寫入、實時更新、實時查詢的全鏈路實時化能力,在一個引擎中同時支持了復雜多維分析和高性能服務查詢兩個場景,是分析服務一體化的最佳行業實踐。Hologres技術創新發表在數據庫界全球頂級學術會議VLDB 2020。
據稱,阿里云大數據平臺不僅穩定支撐阿里經濟體的數據計算業務,經過雙11大規模場景驗證之后,更是云上客戶大數據平臺的重要組成部分,涵蓋互聯網、金融、交通、IOT、新零售等領域的龍頭企業。點此查看更多
?
原文鏈接
本文為阿里云原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的云原生实时数仓首次在2020双11核心数据场景落地的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 云企业网CEN-TR打造企业级私有网络
- 下一篇: 数字化让618有了洞悉消费者内心的“大脑