企業數據需求不斷變化，近年來變化趨勢日益明顯，從數據的3V特性看：體積，速度和變化；Big Data強調數據量，PB級以上，是靜態數據。而Fast Data在數據量的基礎上，意味著速度和和變化，意味著客戶可以更加實時化、更加快速地進行數據處理。

在Forrester最近的一項研究中，超過75％的受訪公司已經使用Fast Data解決方案。 在接受調查的人中，88％表示他們需要近乎實時地對數據執行分析。

AnalyticDB是阿里巴巴自主研發、唯一經過超大規模以及核心業務驗證的PB級實時數據倉庫，是FastData的最佳代表。自2012年第一次在集團發布上線以來，至今已累計迭代發布近百個版本，支撐起集團內的電商、廣告、菜鳥、文娛、飛豬等眾多在線分析業務。AnalyticDB于2014年在阿里云開始正式對外輸出，支撐行業既包括傳統的大中型企業和政府機構，也包括眾多的互聯網公司，覆蓋外部十幾個行業。

AnalyticDB承接著阿里巴巴廣告營銷、商家數據服務、菜鳥物流、盒馬新零售等眾多核心業務的高并發分析處理， 每年雙十一上述眾多實時分析業務高峰驅動著AnalyticDB不斷的架構演進和技術創新。

AnalyticDB for MySQL 3.0針對Fast Data毫秒處理的需求，重新設計了架構，提供及時且經濟高效的數據處理的系統和方法，各個事件在到達時進行處理，處理延時到秒、毫秒，真正同時滿足數據體積，速度和變化的3V屬性，助力企業打造一個實時的數據世界。

根據2019年The Forrester Wave?: Database-As-A-Service,Q2 2019的最新報告，阿里云數據已經進入全球第二梯隊(Strong Performers) ，同時也連續多年進入 Gartner發布的分析型數據管理平臺報告 (Magic Quadrant for Data Management Solutions for Analytics)，進入全球分析市場。

AnalyticDB for MySQL 3.0當前整體架構如下圖。

其中幾個主要的組件為:

Coordinator: 前端控制節點，職責包括

• MySQL協議層接入，SQL解析
• 認證和鑒權，提供了更完善和細化的權限體系模型，白名單和集群級別RAM控制，并審計與合規記錄所有SQL操作。
• 集群管理：成員管理、元數據、數據一致性、路由同步、備份與恢復（數據與log管理)
• 后臺異步任務管理
• 事務管理
• 優化器，執行計劃生成
• 計算調度，負責執行任務調度

Worker: 存儲和計算節點，包含

• 計算模塊

分布式MPP+DAG混合計算引擎和優化器達到了更高的復雜計算能力，和混合負載管理能力，TPC-H性能比之前版本快大約40%。
利用阿里云計算平臺之上資源靈活調度上的優勢，實現了計算資源的彈性調度。計算Worker節點可以單獨拉起，因應業務需求做到分鐘級甚至秒級擴展，實現資源的最有效利用。

• 存儲模塊

存儲模塊更加輕量化，具備了承載更大吞吐數據實時寫入和讀取能力，寫入性能比之前版本同等規格高50%倍左右，毫秒級可見，滿足客戶實時分析需求。

AnalyticDB for MySQL 3.0是運行在云盤 + OSS系統上而不是本地盤上。隨著RDMA、ESSD盤的應用技術更穩定，后端節點直接利用云盤分布式存儲構建大容量高可用的數據庫存儲集群會更有優勢。

通過云盤的能力，AnalyticDB for MySQL 3.0做到了磁盤靈活擴縮，進一步降低了用戶成本。用戶根據實際使用量購買相應磁盤空間，無需為固定的多余空間買單；當用戶磁盤達到瓶頸時可以按需擴容。對于訪問的比較少，且訪問頻次會隨著時間的流逝而減少冷數據，通過更低成本的OSS做分層存儲機制，在保持9個9的數據可靠性同時，進一步降低用戶成本。

存儲節點提供全量和增量備份和恢復能力，云盤的定期快照和日志會實時同步到OSS中保存，對用戶數據提供更高的安全保障，幫助用戶在數據庫發生問題時最大限度的找回。

• Worker Group

帶存儲模塊的Worker節點被劃分為一個個節點組（Worker Group），提供三副本的存儲，通過Raft分布式一致性協議像一個整體一樣工作，允許其中一些Worker節點出現故障也能繼續提供服務。

AnalyticDB的讀寫鏈路就是穩定運行在上訴組件之上

• 寫入鏈路，數據通過Coordinator寫入后，會根據表上的分區鍵寫入到不同的表分區（Shard）所屬的Worker Group中，每個Worker Group中的Worker三副本通過Raft協議保證了數據的強一致性、高可靠、高可用、實時可見（線性一致性）；為了保證高效，AnalyticDB 進行了GroupCommit、壓縮、異步化、零拷貝等眾多優化技術，大幅優化了寫入性能， TPC-H表單節點TPS 到達15w 以上，并且可以線性擴展；
• 查詢鏈路，用戶的SQL語句通過MySQL協議發送到Coordinator后，SQL會被Parser進行解析生成邏輯計劃，然后被Optimizer進行優化后生成物理執行計劃，再發送給計算調度模塊將該SQL的物理執行Task分發到不同的Worker節點執行，每個執行Task都會被關聯到Worker上的存儲，從存儲拉取數據進行分布式計算。為了提升計算性能，AnalyticDB 進行了計算下推存儲、高效智能索引篩選、向量化+Pipeline流式執行等一系列優化，目前AnalyticDB的TPC-DS性能做到了全球最快。

在此之上，通過服務秒級恢復，AZ內/跨AZ部署，自動故障檢測、摘除和副本重搭，配合上述的三副本存儲、全量和增量備份，提供金融級別的數據可靠性保證。在周邊生態上，提供數據遷移、數據同步、數據管理、數據集成、數據安全等配套工具，方便用戶使用，使用戶能更加專注于業務發展。

綜上，AnalyticDB for MySQL 3.0版本融合了分布式、彈性計算與云計算的優勢，對規模性、易用性、可靠性和安全性等方面進行了大規模的改進，充分滿足不同場景Fast Data實時數據倉庫的需求。支持更大規模的并發訪問、更快讀寫能力以及更智能的混合查詢負載管理等，實現更精細化的資源利用和更低成本的投入，讓用戶能更加專注于業務發展，專注于數據價值。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的AnalyticDB for MySQL技术架构解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。