双十一流量洪峰 支撑阿里核心业务的云数据库揭秘
背景介紹
今年雙十一又有新紀(jì)錄刷新,21秒成交額超10億,數(shù)據(jù)瞬間膨脹到PB級,包裹數(shù)億級,嚴(yán)苛的指標(biāo)對數(shù)據(jù)庫產(chǎn)品提出了更嚴(yán)格的需求。HybridDB作為阿里云自研的HTAP數(shù)據(jù)庫經(jīng)受住了流量洪峰的考驗,順利的完成了2019年雙十一的保障工作。
HybridDB在阿里集團(tuán)內(nèi)廣泛應(yīng)用。比如為幾十萬商家提供數(shù)據(jù)驅(qū)動的店鋪智能服務(wù),也為幾千小二提供了高效的數(shù)據(jù)化服務(wù)產(chǎn)品,大大提高生產(chǎn)效率。同時盒馬實時交易大盤使用HybridDB實現(xiàn)盒馬全鏈路的數(shù)據(jù)實時閉環(huán),支撐1000多張表的復(fù)雜查詢,平均查詢延遲1秒以內(nèi),大大提高了新零售的數(shù)據(jù)化能力。菜鳥倉儲實時在線數(shù)倉,基于HybridDB for MySQL構(gòu)建了容納核心的訂單、包裹、庫存及時效等全鏈路數(shù)據(jù),目前已經(jīng)成長為菜鳥倉儲業(yè)務(wù)的數(shù)據(jù)化產(chǎn)品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里云核心業(yè)務(wù)提供實時監(jiān)控數(shù)據(jù)的存儲、計算服務(wù),支撐了四大件產(chǎn)品雙十一實時監(jiān)控大屏,為阿里云雙十一保駕護(hù)航。
目前HybridDB for MySQL支持高性能事務(wù)存儲規(guī)格和高性能分析計算規(guī)格,融合了在線OLTP和實時OLAP業(yè)務(wù),實現(xiàn)了HTAP能力的統(tǒng)一。以視頻云相關(guān)場景為例,簡要介紹,在高吞吐中心場景中的應(yīng)用,實際業(yè)務(wù)場景會比本文復(fù)雜。
阿里云視頻云業(yè)務(wù)
阿里云視頻云典型場景如下:
視頻用戶的在線類業(yè)務(wù),如作業(yè)提交、轉(zhuǎn)碼工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,實時事務(wù)tps高達(dá)5萬,歷史作業(yè)數(shù)據(jù)可保存5年以上;
視頻云技術(shù)架構(gòu)的在線實時分析和離線分析類業(yè)務(wù),如監(jiān)控數(shù)據(jù)采集與實時分析、資源調(diào)度、監(jiān)控告警燈,也采用HybridDB for MySQL解決存儲計算問題,實時寫入tps高達(dá)200萬,數(shù)據(jù)實時可見并支持包括oracle開窗函數(shù)等在內(nèi)的OLAP分析SQL;
視頻云業(yè)務(wù)的核心基于CDN技術(shù),CDN是多地分發(fā)的內(nèi)容緩存服務(wù),其本身的性能和穩(wěn)定性需要強(qiáng)大的監(jiān)控調(diào)度能力來保障,HybridDB存儲了CDN集群運(yùn)轉(zhuǎn)的實時負(fù)載狀態(tài),以及基于負(fù)載狀態(tài)產(chǎn)生的各類分析結(jié)果以供集群的服務(wù)狀態(tài)修正。一般數(shù)據(jù)庫無法承載海量監(jiān)控數(shù)據(jù)的存儲和計算,大數(shù)據(jù)生態(tài)無法做到實時數(shù)據(jù)寫入實時可見。CDN監(jiān)控調(diào)度借助HybridDB for MySQL每秒百萬行數(shù)據(jù)寫入、PB級數(shù)據(jù)存儲、毫秒級在線分析能力,解決十萬級服務(wù)器的實時監(jiān)控預(yù)警-調(diào)度反饋閉環(huán)處理問題,保障了阿里云CDN天量數(shù)據(jù)流量的安全運(yùn)轉(zhuǎn)。
其他場景持續(xù)更新中,敬請期待....
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的双十一流量洪峰 支撑阿里核心业务的云数据库揭秘的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 阿里开发者招聘节 | 面试题01:如何实
- 下一篇: 使用split_size优化的ODPS