日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

转数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示

發布時間:2025/4/16 数据库 47 豆豆
生活随笔 收集整理的這篇文章主要介紹了 转数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本文原文連接:?http://blog.csdn.net/bluishglc/article/details/7696085?,轉載請注明出處!本文著重介紹sharding切分策略,如果你對數據庫sharding缺少基本的了解,請參考我另一篇從基礎理論全面介紹sharding的文章:數據庫Sharding的基本思想和切分策略

?

第一部分:實施策略

?

?

圖1.數據庫分庫分表(sharding)實施策略圖解(點擊查看大圖)


1.準備階段

對數據庫進行分庫分表(Sharding化)前,需要開發人員充分了解系統業務邏輯和數據庫schema.一個好的建議是繪制一張數據庫ER圖或領域模型圖,以這類圖為基礎劃分shard,直觀易行,可以確保開發人員始終保持清醒思路。對于是選擇數據庫ER圖還是領域模型圖要根據項目自身情況進行選擇。如果項目使用數據驅動的開發方式,團隊以數據庫ER圖作為業務交流的基礎,則自然會選擇數據庫ER圖,如果項目使用的是領域驅動的開發方式,并通過OR-Mapping構建了一個良好的領域模型,那么領域模型圖無疑是最好的選擇。就我個人來說,更加傾向使用領域模型圖,因為進行切分時更多的是以業務為依據進行分析判斷,領域模型無疑更加清晰和直觀。

2.分析階段

1. 垂直切分

垂直切分的依據原則是:將業務緊密,表間關聯密切的表劃分在一起,例如同一模塊的表。結合已經準備好的數據庫ER圖或領域模型圖,仿照活動圖中的泳道概念,一個泳道代表一個shard,把所有表格劃分到不同的泳道中。下面的分析示例會展示這種做法。當然,你也可以在打印出的ER圖或模型圖上直接用鉛筆圈,一切取決于你自己的喜好。

2. 水平切分
垂直切分后,需要對shard內表格的數據量和增速進一步分析,以確定是否需要進行水平切分。

2.1若劃分到一起的表格數據增長緩慢,在產品上線后可遇見的足夠長的時期內均可以由單一數據庫承載,則不需要進行水平切分,所有表格駐留同一shard,所有表間關聯關系會得到最大限度的保留,同時保證了書寫SQL的自由度,不易受join、group by、order by等子句限制。

2.2?若劃分到一起的表格數據量巨大,增速迅猛,需要進一步進行水平分割。進一步的水平分割就這樣進行:

2.2.1.結合業務邏輯和表間關系,將當前shard劃分成多個更小的shard,通常情況下,這些更小的shard每一個都只包含一個主表(將以該表ID進行散列的表)和多個與其關聯或間接關聯的次表。這種一個shard一張主表多張次表的狀況是水平切分的必然結果。這樣切分下來,shard數量就會迅速增多。如果每一個shard代表一個獨立的數據庫,那么管理和維護數據庫將會非常麻煩,而且這些小shard往往只有兩三張表,為此而建立一個新庫,利用率并不高,因此,在水平切分完成后可再進行一次“反向的Merge”,即:將業務上相近,并且具有相近數據增長速率(主表數據量在同一數量級上)的兩個或多個shard放到同一個數據庫上,在邏輯上它們依然是獨立的shard,有各自的主表,并依據各自主表的ID進行散列,不同的只是它們的散列取模(即節點數量)必需是一致的。這樣,每個數據庫結點上的表格數量就相對平均了。

2.2.2.?所有表格均劃分到合適的shard之后,所有跨越shard的表間關聯都必須打斷,在書寫sql時,跨shard的join、group by、order by都將被禁止,需要在應用程序層面協調解決這些問題。

特別想提一點:經水平切分后,shard的粒度往往要比只做垂直切割的粒度要小,原單一垂直shard會被細分為一到多個以一個主表為中心關聯或間接關聯多個次表的shard,此時的shard粒度與領域驅動設計中的“聚合”概念不謀而合,甚至可以說是完全一致,每個shard的主表正是一個聚合中的聚合根!

3.實施階段


如果項目在開發伊始就決定進行分庫分表,則嚴格按照分析設計方案推進即可。如果是在中期架構演進中實施,除搭建實現sharding邏輯的基礎設施外(關于該話題會在下篇文章中進行闡述),還需要對原有SQL逐一過濾分析,修改那些因為sharding而受到影響的sql.

第二部分:示例演示

本文選擇一個人盡皆知的應用:jpetstore來演示如何進行分庫分表(sharding)在分析階段的工作。由于一些個人原因,演示使用的jpetstore來自原ibatis官方的一個Demo版本,SVN地址為:http://mybatis.googlecode.com/svn/tags/java_release_2.3.4-726/jpetstore-5。關于jpetstore的業務邏輯這里不再介紹,這是一個非常簡單的電商系統原型,其領域模型如下圖:

?

圖2. jpetstore領域模型

?

由于系統較簡單,我們很容易從模型上看出,其主要由三個模塊組成:用戶,產品和訂單。那么垂直切分的方案也就出來了。接下來看水平切分,如果我們從一個實際的寵物店出發考慮,可能出現數據激增的單表應該是Account和Order,因此這兩張表需要進行水平切分。對于Product模塊來說,如果是一個實際的系統,Product和Item的數量都不會很大,因此只做垂直切分就足夠了,也就是(Product,Category,Item,Iventory,Supplier)五張表在一個數據庫結點上(沒有水平切分,不會存在兩個以上的數據庫結點)。但是作為一個演示,我們假設產品模塊也有大量的數據需要我們做水平切分,那么分析來看,這個模塊要拆分出兩個shard:一個是(Product(主),Category),另一個是(Item(主),Iventory,Supplier),同時,我們認為:這兩個shard在數據增速上應該是相近的,且在業務上也很緊密,那么我們可以把這兩個shard放在同一個數據庫節點上,Item和Product數據在散列時取一樣的模。根據前文介紹的圖紙繪制方法,我們得到下面這張sharding示意圖:

?

圖3. jpetstore sharding示意圖

?

對于這張圖再說明幾點:


1.使用泳道表示物理shard(一個數據庫結點)

2.若垂直切分出的shard進行了進一步的水平切分,但公用一個物理shard的話,則用虛線框住,表示其在邏輯上是一個獨立的shard。

3.深色實體表示主表

4.X表示需要打斷的表間關聯

轉載于:https://www.cnblogs.com/Yongzhouunknown/p/4810440.html

總結

以上是生活随笔為你收集整理的转数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。