架構(gòu)組件：基于Shard-Jdbc分庫(kù)分表，數(shù)據(jù)庫(kù)擴(kuò)容方案

一、數(shù)據(jù)庫(kù)擴(kuò)容

1、業(yè)務(wù)場(chǎng)景

互聯(lián)網(wǎng)項(xiàng)目中有很多“數(shù)據(jù)量大，業(yè)務(wù)復(fù)雜度高，需要分庫(kù)分表”的業(yè)務(wù)場(chǎng)景。

這樣分層的架構(gòu)

(1)上層是業(yè)務(wù)層biz，實(shí)現(xiàn)業(yè)務(wù)邏輯封裝；

(2)中間是服務(wù)層service，封裝數(shù)據(jù)訪問(wèn)；

(3)下層是數(shù)據(jù)層db，存儲(chǔ)業(yè)務(wù)數(shù)據(jù)；

2、擴(kuò)容場(chǎng)景和問(wèn)題

當(dāng)數(shù)據(jù)量持續(xù)新增，面臨著這樣一些需求，兩臺(tái)數(shù)據(jù)庫(kù)無(wú)法容納，需要數(shù)據(jù)庫(kù)擴(kuò)容，這里選擇2臺(tái)—擴(kuò)容到3臺(tái)的模式，如下圖：

這樣擴(kuò)容的問(wèn)題

(1)分庫(kù)分表的策略導(dǎo)致數(shù)據(jù)遷移量大；

(2)影響數(shù)據(jù)的持續(xù)服務(wù)性；

(3)指定時(shí)間完成，技術(shù)壓力大，容易導(dǎo)致預(yù)想不到的錯(cuò)誤；

如何平穩(wěn)不停機(jī)遷移數(shù)據(jù)，保證系統(tǒng)持續(xù)服務(wù)，是本文將要討論的問(wèn)題。

二、擴(kuò)容解決方案

1、擴(kuò)容方案圖解

(1)分庫(kù)分表基于MySQL數(shù)據(jù)庫(kù)，使用shard-jdbc中間件

(2)該方案的思路整體基于SpringCloud微服務(wù)架構(gòu)

2、解決擴(kuò)容問(wèn)題

(1)擴(kuò)容情況下不需要暫停服務(wù)；

(2)數(shù)據(jù)遷移的壓力小，不需要指定時(shí)間；

3、數(shù)據(jù)訪問(wèn)層邏輯

方案描述

基于兩臺(tái)數(shù)據(jù)庫(kù)分庫(kù)分表，簡(jiǎn)稱：服務(wù)二

基于三臺(tái)數(shù)據(jù)庫(kù)分庫(kù)分表，簡(jiǎn)稱：服務(wù)三

(1)提供兩套服務(wù)，服務(wù)二和服務(wù)三

(2)數(shù)據(jù)庫(kù)擴(kuò)容后，如果訪問(wèn)服務(wù)三直接獲取到數(shù)據(jù)，流程結(jié)束。

(3)如果訪問(wèn)服務(wù)三獲取不到數(shù)據(jù)，則訪問(wèn)服務(wù)二獲取數(shù)據(jù)。

(4)在遷移開(kāi)始的一段時(shí)間內(nèi)，訪問(wèn)壓力還會(huì)在服務(wù)二上面。

(5)這樣就做到數(shù)據(jù)訪問(wèn)服務(wù)不會(huì)停機(jī)。

(6)這種訪問(wèn)模式基于SpringCloud很容易做到。

4、數(shù)據(jù)遷移層邏輯

方案描述

(1)關(guān)閉基于兩臺(tái)庫(kù)的數(shù)據(jù)入庫(kù)流程

(2)開(kāi)啟基于三臺(tái)庫(kù)的數(shù)據(jù)入庫(kù)流程，這樣新入庫(kù)數(shù)據(jù)就可以被服務(wù)三直接訪問(wèn)到。

(3)開(kāi)發(fā)數(shù)據(jù)遷移中間件，掃描原先兩臺(tái)庫(kù)的數(shù)據(jù)。

(4)掃描的數(shù)據(jù)根據(jù)分三臺(tái)庫(kù)策略判斷是否需要遷移。

(5)如果數(shù)據(jù)需要遷移，則調(diào)用服務(wù)三的數(shù)據(jù)入庫(kù)接口。

(6)數(shù)據(jù)遷移完成后，刪除原來(lái)的位置的數(shù)據(jù)。

(7)這種遷移模式基于SpringCloud很容易做到。

5、該方案遷移的優(yōu)點(diǎn)

(1)整個(gè)過(guò)程是持續(xù)對(duì)線上提供服務(wù)；

(2)數(shù)據(jù)遷移中間件的開(kāi)發(fā)復(fù)雜度較低；

(3)可以限速慢慢遷移，沒(méi)有時(shí)間壓力；

三、寫在最后

下一篇文章會(huì)更新該方案基于SpringCloud的代碼實(shí)現(xiàn)。

總結(jié)

以上是生活随笔為你收集整理的java分库框架shard_架构组件：基于Shard-Jdbc分库分表，数据库扩容方案-Go语言中文社区...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。