2020年雙11，云原生實(shí)時(shí)數(shù)倉首次在阿里巴巴雙11核心數(shù)據(jù)場景落地，實(shí)現(xiàn)商業(yè)全鏈路實(shí)時(shí)化，毫秒級海量數(shù)據(jù)處理能力。搜索推薦業(yè)務(wù)數(shù)據(jù)開發(fā)效率提升4倍，菜鳥物流包裹數(shù)據(jù)鏈路從小時(shí)級優(yōu)化到3分鐘，考拉分鐘及小時(shí)業(yè)務(wù)1分鐘內(nèi)完成，實(shí)時(shí)數(shù)據(jù)倉庫的建設(shè)在瞬息萬變的市場競爭中成為了標(biāo)品！
DataWorks獨(dú)享數(shù)據(jù)集成資源組（支持實(shí)時(shí)同步）首月5折>>

實(shí)時(shí)同步-實(shí)時(shí)數(shù)倉第一步

實(shí)時(shí)數(shù)倉的建設(shè)，第一步就需要將數(shù)據(jù)同步到大數(shù)據(jù)計(jì)算引擎，一般客戶的RDS/MySQL業(yè)務(wù)數(shù)據(jù)庫在實(shí)際生產(chǎn)中都是實(shí)時(shí)不停的進(jìn)行著數(shù)據(jù)變化，如何及時(shí)將這些數(shù)據(jù)同步到數(shù)據(jù)倉庫中是一個(gè)難題，同時(shí)實(shí)際上，只有極少數(shù)客戶的RDS業(yè)務(wù)數(shù)據(jù)庫是全新建立的，對接數(shù)據(jù)倉庫時(shí)只需要進(jìn)行實(shí)時(shí)同步。他們大多數(shù)都有歷史既有的數(shù)據(jù)，只有在這些數(shù)據(jù)上云之后的實(shí)時(shí)數(shù)據(jù)變更才有業(yè)務(wù)意義。

傳統(tǒng)實(shí)時(shí)同步方式的困難點(diǎn)

傳統(tǒng)的實(shí)現(xiàn)方式是客戶先手工建立離線全量數(shù)據(jù)同步任務(wù)，并進(jìn)行完成歷史全量數(shù)據(jù)的搬遷。此后再進(jìn)行手工建立實(shí)時(shí)同步任務(wù)。但是一般客戶都是有非常多的數(shù)據(jù)庫，每個(gè)庫中有非常多的表，對這些表逐個(gè)建立離線和實(shí)時(shí)同步任務(wù)，是一個(gè)很繁瑣和容易出錯(cuò)遺漏的過程。同時(shí)實(shí)時(shí)同步任務(wù)啟動(dòng)的時(shí)機(jī)也難以把握，尤其是對于沒有關(guān)鍵字段做主鍵去重時(shí)，提前啟動(dòng)容易造成數(shù)據(jù)重復(fù)，滯后啟動(dòng)容易造成數(shù)據(jù)遺漏。

DataWorks數(shù)據(jù)集成實(shí)時(shí)同步高效解決方案

DataWorks數(shù)據(jù)集成提供了?“RDS/MySQL一鍵實(shí)時(shí)同步至MaxCompute”?的解決方案，可以將RDS/MySQL中的數(shù)據(jù)庫，通過一次性的簡單配置，全增量一體化同步到MaxCompute中，自動(dòng)實(shí)現(xiàn)先全量數(shù)據(jù)遷移，然后實(shí)時(shí)增量保持更新。并支持對于實(shí)時(shí)同步到MaxCompute的數(shù)據(jù)，按照指定分區(qū)自動(dòng)建立和Base表的merge任務(wù)并執(zhí)行。整套流程完全自動(dòng)化，無需人工干預(yù)，用戶只需關(guān)注最終的業(yè)務(wù)結(jié)果表即可。

實(shí)時(shí)同步性能與性價(jià)比

DataWorks數(shù)據(jù)集成采用自研高性能引擎，在相同的機(jī)器規(guī)格情況下，RDS實(shí)時(shí)同步性能最高為?其他數(shù)據(jù)同步方案的2倍?，而?價(jià)格只有其4分之1?。以一臺(tái)24核48G內(nèi)存的機(jī)器舉例，DataWorks數(shù)據(jù)集成RDS實(shí)時(shí)同步最大QPS為3.5萬，比其他數(shù)據(jù)同步方案?QPS高1倍?，可以運(yùn)行18條實(shí)時(shí)同步鏈路，而這個(gè)規(guī)格的機(jī)器，每月僅需3000元（以杭州的為例）。
詳見：?《獨(dú)享數(shù)據(jù)集成資源組性能和計(jì)費(fèi)標(biāo)準(zhǔn)》

實(shí)時(shí)同步功能優(yōu)勢

• 針對RDS/MySQL可以整庫全部表或者部分表、批量的大規(guī)模導(dǎo)入MaxCompute與Hologres
• 歷史存量數(shù)據(jù)自動(dòng)化全量導(dǎo)入，目的MaxCompute、Hologres表可以自動(dòng)建立，也可以使用已有，支持精細(xì)化配置。
• 實(shí)時(shí)最新數(shù)據(jù)在全量同步后自動(dòng)啟動(dòng)導(dǎo)入，保證數(shù)據(jù)既不重復(fù)也不丟失。
• 白屏化簡單配置整個(gè)方案，輕松幾步向?qū)Ъ纯赏瓿伞?/li>
• 支持整個(gè)方案級別的運(yùn)維管控，更高level來操盤，避免繁瑣的底層運(yùn)維。

?

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的性能高1倍，价格低3/4！数据库实时同步新选择！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。