DT时代下 数据库灾备的探索与实践
170余場(chǎng)主題峰會(huì)和分論壇完美呈現(xiàn),上千位分享嘉賓、數(shù)萬(wàn)名創(chuàng)新創(chuàng)業(yè)導(dǎo)師齊聚一堂,剛剛結(jié)束的2018杭州云棲大會(huì)讓云棲小鎮(zhèn)又一次成為探索數(shù)字世界的中心。
隨著DT時(shí)代的到來(lái),企業(yè)對(duì)數(shù)據(jù)的依賴(lài)程度與日俱增,數(shù)據(jù)保護(hù)早已成為企業(yè)的一門(mén)必修課。只有擁有先知先覺(jué)的防范意識(shí)和充分的技術(shù)準(zhǔn)備,才能“覆巢之下,亦有完卵”。在“企業(yè)級(jí)數(shù)據(jù)庫(kù)最佳實(shí)踐”專(zhuān)場(chǎng),災(zāi)備相關(guān)議題備受關(guān)注。本文結(jié)合阿里巴巴數(shù)據(jù)庫(kù)團(tuán)隊(duì)在會(huì)上的分享,將詳細(xì)介紹如何使用數(shù)據(jù)庫(kù)云產(chǎn)品組合,搭建符合自身企業(yè)發(fā)展階段的災(zāi)備方案。
數(shù)據(jù)是企業(yè)重要的生產(chǎn)資料,一旦發(fā)生數(shù)據(jù)丟失,企業(yè)就會(huì)陷入困境:客戶(hù)資料、技術(shù)文件、財(cái)務(wù)賬目等客戶(hù)、交易、生產(chǎn)數(shù)據(jù)可能被破壞得面目全非。概括起來(lái),數(shù)據(jù)丟失分三個(gè)層次:
- 邏輯錯(cuò)誤:包括軟件bug、病毒攻擊、數(shù)據(jù)塊被破壞等。
- 物理?yè)p壞:包括服務(wù)器、磁盤(pán)損壞等。
- 自然災(zāi)害:火災(zāi)、地震等自然災(zāi)害對(duì)數(shù)據(jù)中心的摧毀等。
為了應(yīng)對(duì)數(shù)據(jù)丟失造成的損失,必須對(duì)數(shù)據(jù)進(jìn)行災(zāi)備保護(hù),并且企業(yè)信息化程度越高,相關(guān)的數(shù)據(jù)災(zāi)備恢復(fù)措施就越重要。
企業(yè)級(jí)數(shù)據(jù)庫(kù)災(zāi)備體系
1.1 災(zāi)備定義
災(zāi)備是指容災(zāi)+備份:
- 備份的定義:指用戶(hù)為應(yīng)用系統(tǒng)產(chǎn)生的重要數(shù)據(jù)(或者原有的重要數(shù)據(jù)信息)制作一份或者多份拷貝,以增強(qiáng)數(shù)據(jù)的安全。
- 容災(zāi)的定義:指在相隔較遠(yuǎn)的兩地(同城或者異地)建立兩套或多套功能相同的IT系統(tǒng),互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換。當(dāng)一處系統(tǒng)因意外(天災(zāi)、人禍)停止工作時(shí),整個(gè)應(yīng)用系統(tǒng)可以切換到另一處,使得該系統(tǒng)功能可以繼續(xù)正常工作。
1.2 災(zāi)備痛點(diǎn)?
(1)備份痛點(diǎn)
- 備份失效
- 恢復(fù)速度慢
- 恢復(fù)有損
- 異地備份成本高
- 性?xún)r(jià)比低
(2)容災(zāi)痛點(diǎn)
- 容災(zāi)方案單一,無(wú)法滿(mǎn)足不同數(shù)據(jù)級(jí)別場(chǎng)景建設(shè)
- 缺少容災(zāi)大盤(pán)能力,無(wú)法對(duì)容災(zāi)鏈路監(jiān)控、故障快速識(shí)別
- 災(zāi)備不具備巡檢能力
- 故障恢復(fù)成本高,數(shù)據(jù)校驗(yàn)、比對(duì)、訂正難以決策
- 多層容災(zāi)工具切換難以協(xié)同
- 預(yù)案管控缺失,無(wú)法自動(dòng)化運(yùn)維
1.3 落地方案
企業(yè)級(jí)數(shù)據(jù)庫(kù)災(zāi)備體系要以業(yè)務(wù)需求為導(dǎo)向,基于多種因素考量選擇:RPO,RTO,成本,擴(kuò)展性。還需要覆蓋數(shù)據(jù)庫(kù)災(zāi)備的各種需求:災(zāi)備環(huán)境搭建、災(zāi)備數(shù)據(jù)同步、災(zāi)備監(jiān)控告警、災(zāi)備演練、災(zāi)備切換、數(shù)據(jù)校驗(yàn)及修復(fù)等。
企業(yè)級(jí)數(shù)據(jù)庫(kù)災(zāi)備核心產(chǎn)品
阿里云產(chǎn)品經(jīng)多輪迭代具備比較完善的災(zāi)備能力,使用以下核心產(chǎn)品可幫助企業(yè)應(yīng)對(duì)不同場(chǎng)景及需求的數(shù)據(jù)庫(kù)災(zāi)備方案設(shè)計(jì)。
- DBS:Database Backup Service,是為數(shù)據(jù)庫(kù)提供連續(xù)數(shù)據(jù)保護(hù)、低成本的備份服務(wù)。它可以為多種環(huán)境的數(shù)據(jù)提供強(qiáng)有力的保護(hù),包括企業(yè)數(shù)據(jù)中心、其他云廠商。DBS提供數(shù)據(jù)備份和操作恢復(fù)的整體方案,具備實(shí)時(shí)增量備份、精確到秒級(jí)的數(shù)據(jù)恢復(fù)能力。在數(shù)據(jù)庫(kù)災(zāi)備解決方案中可使用阿里云DBS實(shí)現(xiàn)各數(shù)據(jù)庫(kù)間的數(shù)據(jù)備份。
- DTS:Data Transmission Service,是阿里云提供的一種支持多種數(shù)據(jù)源之間數(shù)據(jù)交互的數(shù)據(jù)流服務(wù)。它提供了數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)訂閱及數(shù)據(jù)實(shí)時(shí)同步等多種數(shù)據(jù)傳輸能力。在數(shù)據(jù)庫(kù)災(zāi)備解決方案中,使用阿里云DTS可實(shí)現(xiàn)各數(shù)據(jù)庫(kù)間的數(shù)據(jù)遷移與實(shí)時(shí)同步,從而為數(shù)據(jù)庫(kù)災(zāi)備打好最重要的基礎(chǔ)。
- HDM:Hybrid Cloud Database Management,是混合云數(shù)據(jù)庫(kù)管理平臺(tái),幫助企業(yè)打通混合云數(shù)據(jù)庫(kù)架構(gòu),提供多環(huán)境統(tǒng)一管理、快速?gòu)椥浴?zāi)備切換的能力。對(duì)于混合云災(zāi)備場(chǎng)景下,使用阿里云HDM可便捷、快速的將本地IDC的數(shù)據(jù)同步至云上,并進(jìn)行災(zāi)備切換演練,故障發(fā)生時(shí)可通過(guò)HDM進(jìn)行災(zāi)備切換,保障數(shù)據(jù)庫(kù)的可用性。
在災(zāi)備場(chǎng)景下,建議可搭配阿里云其他產(chǎn)品,例如DRDS、OSS,這些產(chǎn)品經(jīng)阿里內(nèi)外部驗(yàn)證,均具有較高可靠性并可在災(zāi)備場(chǎng)景下靈活應(yīng)用。
典型應(yīng)用場(chǎng)景
3.1 實(shí)時(shí)備份
當(dāng)用戶(hù)對(duì)數(shù)據(jù)備份要求較高時(shí),比如需要連續(xù)實(shí)時(shí)備份,且備份過(guò)程中不影響業(yè)務(wù)運(yùn)行,此時(shí)可購(gòu)置阿里云數(shù)據(jù)庫(kù)備份DBS服務(wù),實(shí)現(xiàn)數(shù)據(jù)庫(kù)的熱備份,DBS可實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)增量備份、精確到秒級(jí)的數(shù)據(jù)恢復(fù)能力。解決方案架構(gòu)示例如下:
架構(gòu)設(shè)計(jì)說(shuō)明:
? 關(guān)鍵部件部署:
- 在用戶(hù)本地部署有兩套數(shù)據(jù)庫(kù):生產(chǎn)數(shù)據(jù)庫(kù)和恢復(fù)庫(kù),分別用于生產(chǎn)數(shù)據(jù)的存儲(chǔ)、故障后數(shù)據(jù)恢復(fù)。
- 在阿里云的兩個(gè)區(qū)域(例如:華南1、華北1)分別購(gòu)置存儲(chǔ)服務(wù),例如OSS對(duì)象存儲(chǔ)或者NAS文件存儲(chǔ)。
- 購(gòu)置阿里云的DBS服務(wù),用于用戶(hù)本地?cái)?shù)據(jù)庫(kù)實(shí)時(shí)熱備份至云上存儲(chǔ)。
? 云下生產(chǎn)數(shù)據(jù)備份至云上:
(可通過(guò)以下兩種方案中的任意一種將云下生產(chǎn)數(shù)據(jù)備份至云上)
- 用戶(hù)可在本地再部署一套存儲(chǔ),將生產(chǎn)數(shù)據(jù)先備份至本地IDC的存儲(chǔ),再通過(guò)本地IDC存儲(chǔ)災(zāi)備拷貝至云上存儲(chǔ)。
- 用戶(hù)本地的生產(chǎn)數(shù)據(jù)庫(kù)與云上存儲(chǔ)之間通過(guò)阿里云DBS,將生產(chǎn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)直接熱備份至云上兩個(gè)區(qū)域的存儲(chǔ)中。
? 數(shù)據(jù)恢復(fù):
- 如果用戶(hù)本地IDC的生產(chǎn)數(shù)據(jù)庫(kù)發(fā)生故障,但本地IDC的存儲(chǔ)運(yùn)行正常,可通過(guò)本地IDC的 存儲(chǔ)將數(shù)據(jù)恢復(fù)至本地IDC的恢復(fù)庫(kù)。
- 如果用戶(hù)本地IDC的生產(chǎn)數(shù)據(jù)庫(kù)和存儲(chǔ)均發(fā)生故障,或沒(méi)有部署本地存儲(chǔ),則可通過(guò)DBS將云上存儲(chǔ)將數(shù)據(jù)恢復(fù)至本地恢復(fù)庫(kù)。
? 架構(gòu)特點(diǎn):
- 優(yōu)點(diǎn):技術(shù)要求高、一致性好,恢復(fù)時(shí)間短。
- 缺點(diǎn):RTO隨著數(shù)據(jù)庫(kù)是來(lái)大小而變化。
- 應(yīng)用場(chǎng)景:比較成熟的備份手段,適用于大部分的關(guān)系型數(shù)據(jù)庫(kù)。
3.2 異地多活
無(wú)論彈性容災(zāi)上云、容災(zāi)雙活/多活,還是兩地三中心,用戶(hù)都可以在企業(yè)級(jí)數(shù)據(jù)庫(kù)災(zāi)備體系中找到解決方案,接下來(lái)以異地多活場(chǎng)景為例介紹解決方案。在用戶(hù)業(yè)務(wù)多點(diǎn)寫(xiě)入場(chǎng)景下,如何具備數(shù)據(jù)級(jí)異地雙活,如何支持一鍵切換至另一個(gè)機(jī)房,實(shí)現(xiàn)靈活的彈上彈下和未來(lái)的線性擴(kuò)展。
部署架構(gòu)
- 應(yīng)用配合進(jìn)行單元化改造
- 通過(guò) DTS 實(shí)現(xiàn)兩地/多地的數(shù)據(jù)庫(kù)的雙向同步,解決同城單點(diǎn)問(wèn)題
- 通過(guò) HDM 實(shí)現(xiàn)雙活/多活架構(gòu)的監(jiān)控和管理,并提供計(jì)劃內(nèi)/計(jì)劃外切換的能力
- 雙數(shù)據(jù)中心支持讀寫(xiě)分離,本地用戶(hù)就近讀取
新產(chǎn)品:數(shù)據(jù)庫(kù)備份DBS
數(shù)據(jù)庫(kù)備份DBS作為數(shù)據(jù)庫(kù)上云備份通道,與對(duì)象存儲(chǔ)OSS構(gòu)建云數(shù)據(jù)庫(kù)備份解決方案,僅需5分鐘即可實(shí)現(xiàn)秒級(jí)RPO(Recovery Point Objective恢復(fù)點(diǎn)目標(biāo),通俗理解是當(dāng)數(shù)據(jù)庫(kù)故障時(shí),允許丟失多長(zhǎng)時(shí)間數(shù)據(jù),RPO越小越好)的實(shí)時(shí)備份。
數(shù)據(jù)庫(kù)備份DBS提供備份服務(wù),在整個(gè)備份過(guò)程是無(wú)鎖的,不會(huì)阻塞數(shù)據(jù)庫(kù)上業(yè)務(wù)請(qǐng)求;用戶(hù)可以選擇整個(gè)實(shí)例備份,也可以選擇只備份一張表;一旦發(fā)生誤操作情況時(shí),用戶(hù)都可以通過(guò)DBS進(jìn)行任意時(shí)間點(diǎn)恢復(fù),將整個(gè)實(shí)例或一張表的數(shù)據(jù)恢復(fù)到誤操作前1秒;DBS提供多種規(guī)格,可以滿(mǎn)足幾百M(fèi)B到幾百GB的數(shù)據(jù)庫(kù)備份。
目前,數(shù)據(jù)庫(kù)備份DBS提供的備份系統(tǒng)時(shí)刻被海量用戶(hù)驗(yàn)證,產(chǎn)品不僅擁有實(shí)時(shí)備份、秒級(jí)RPO的能力,同時(shí)還具備表級(jí)恢復(fù)能力,幫助用戶(hù)只恢復(fù)有價(jià)值的數(shù)據(jù),RTO可降到分鐘級(jí)。
值得一提的是,實(shí)時(shí)備份經(jīng)歷了歷年雙11的考驗(yàn),接下來(lái),數(shù)據(jù)庫(kù)恢復(fù)DBS將會(huì)提供在線查詢(xún)能力,用戶(hù)無(wú)需等待數(shù)據(jù)恢復(fù)過(guò)程,備份任務(wù)完成后在查詢(xún)窗口上可以通過(guò)SQL立刻查詢(xún)備份數(shù)據(jù),用戶(hù)還可以將查詢(xún)結(jié)果導(dǎo)出Excel、Word等通用格式,用于數(shù)據(jù)分析,也可以生成Insert、Replace語(yǔ)句,用于數(shù)據(jù)訂正。
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的DT时代下 数据库灾备的探索与实践的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 世界杯千万级直播高稳定的挑战和实践
- 下一篇: PostgreSQL PostGIS 的