概念
????目前主流的大數據存儲與計算系統通常采用橫向擴展(Scale Out)的方式支持系統可擴展性，即通過增加機器數目來獲得水平擴展能力。對于待存儲處理的海量數據，需要通過數據分片(Shard/partition)來將數據進行切分并分配到各個機器中去，數據分片后如何找到某條記錄的存儲位置就成為必然要解決的問題，這一般被稱為數據路由(Data Routing)。數據分片和數據路由的抽象模型如下圖所示：

哈希分片（Hash Partition）
最為常見的3種哈希分片方式分別為:Round Robin、虛擬桶和一致性哈希方法。

• Round Robin
  ????Round Robin就是常用的哈希取模法，利用哈希函數將數據映射到編號從0到k-1的物理機上。
  H(key)=hash(key) mod K
  這種分片方式的優點是實現簡單，缺點是缺乏靈活性，無法進行橫向擴展。
• 虛擬桶（Virtual Buckets）
  ????虛擬桶機制將所有記錄首先通過哈希函數映射到虛擬桶，記錄和虛擬桶是多對一的關系，第二層映射是虛擬桶和物理機之間的映射，也是多對一的關系，其具體實現方式是通過查表來實現的，以Membase為例，虛擬桶運行機制如下圖所示：
  
• 與Round Robin相比，虛擬桶將原先由記錄直接到物理機的單層映射解耦成兩級映射，大大加強了系統擴展的靈活性，當加入新機器時，將某些虛擬桶從原先分配的機器重新分配給新機器，只需要修改partition-machine映射表中受影響的個別條目就能實現擴展，具有較強的靈活性。
  
• 一致性哈希（Consistent Hashing）
  ????一致性哈希算法被廣泛的應用于分布式系統架構中，一致性哈希算法將哈希數值空間按照大小組成一個首尾相接的環狀序列。對于不同物理機根據其IP和端口號經過哈希函數映射到哈希空間內，這樣不同的機器就構成了環狀序列中的不同節點，而每個節點負責存儲落在一段有序哈希空間中的數據。如下圖是一個哈希空間為32（m=5,2^5=32）的一致性哈希算法示意圖，例如N14節點就存儲6 < Hash(key) < 14的數據。同時，每個節點記錄環中的前趨節點和后繼節點地址位置，使之成為一個真正的有向環。
  

(1)路由問題
????通過以上方式就可以將海量數據分不到集群中的不同節點中，實現數據分片功能。那么如何根據key和哈希函數H來定位到記錄內容呢？
????一種直觀的解決辦法就是沿著有向環順序查找，如果H(key)在本節點管理范圍內就返回結果，如果不在則將其交給后繼節點繼續查找，這樣最多遍歷所有節點就可以給出結果。
????很明顯以上方法是一個低效的查找方式，為例加快查找速度，可以為每個節點配置路由表。路由表存儲m條路由信息（m為哈希空間的二進制數值比特位長度，即哈希空間長度=2^m）,其中第i項存儲距離當前節點距離為2^i的數據節點。如N14的節點路由表如下所示：

距離1(2^0)2(2^1)4(2^2)8(2^3)16(2^4)

機器節點	N20	N20	N20	N25	N5

算法：假設當前執行操作的節點為Nc，其初始值為Ni,Nc的后繼節點為Ns，重復執行下列步驟。
步驟1，判斷是否c < j <= s,如果為真，則結束查找，說明key如果存在，則在Nc的后繼節點Ns上，Ns返回結果。
步驟2，否則，Nc查找路由表，找到小于j的最大編號節點Nh（如果所有路由項都大于j，則選擇第m-1項作為Nh），Nc向Nh發送消息，由Nh代為查找，Nh此時作為新的Nc繼續按照步驟1，步驟2遞歸進行查找。
此算法的時間復雜度為O(logn),類似于二分查找。

下圖為N14節點接收到H(key)=27時的查找過程：

(2)加入新節點
????如果P2P網絡加入一個新節點Nnew,首先Nnew能夠和任意節點Nx進行通信，通過Nx按照“路由算法”查詢Nnew的對應哈希值H(Nnew)=new,找到Nnew的后繼節點Ns，假設Ns的前趨節點為Np，那么需要做兩件事將Nnew加入網絡：
一. 改變Np、Nnew和Ns的前趨后繼節點記錄，以體現新的網絡架構。
二. 數據的重新分片與分布，將Ns節點中存儲的應該由Nnew承載的數據（Ns節點上哈希值小于等于new的記錄）遷移到Nnew節點上。
????在非并發環境中以上事務較易完成，但是在并發環境中，可能Np和Ns之間同時有多個節點加入，為了避免出現問題，需按照以下兩個步驟完成：
一. 將Nnew的后繼節點設置為null。
二. 這一步并非為新加入節點設立的，而是所有節點周期性自動完成，穩定性檢測。

• 穩定性檢測

算法：
步驟1，假設Ns為Nc的后繼節點，Nc向Ns詢問其前趨節點Np，Ns向Ns答復，一般情況下，如果Np=Nc則轉入第4步。
步驟2，如果Np介于Nc和Ns之間，Nc記錄下Np為其后繼節點。
步驟3，令Nx是Nc的后繼節點，其可能是Ns或者Np，這取決于步驟2的判斷結果。如果Nx的前趨節點為空或者Nc位于Nx和它的前趨節點之間，那么Nc給Nx發消息告訴Nx，Nc就是Nx的前趨節點，Nx將其前趨節點設置為Nc。
步驟4，Nx將其部分數據遷移到Nc上，即將Nx上哈希值小于等于c的記錄遷移到Nc上。

示例，將N8加入上述網絡
1.根據步驟一，將N8的后繼節點設為N14,前趨節點置為null，如下圖所示：

2.N8進行穩定性檢測，步驟1中，N8發現N14的前趨節點不是自己，進入步驟2，由于N5沒有介于N8和N14之間，所以直接進入步驟3，因為N8位于N5和N14之間，所以N8向N14發消息，告知N14的前趨節點改為N8，N14的前趨指向N8，如下圖所示：

3.進入步驟4，N14將部分數據遷移到N8。

一段時間后，N5開始進行穩定性檢測，經過步驟N5被告知，N14的前趨節點是N8而不是自己，所以進入步驟2，由于N8介于N5和N14之間，所以N5將后繼節點改為N8,如下圖所示：

進入步驟3，由于N8的前趨節點為空，所以N5通知N8其前趨節點為N5，所以N8將前趨節點置為N5，如下圖所示:

進入步驟4，N8沒有需要向N5遷移的數據，結束。
這樣，N8節點就順利的加入了網絡。

(3)當前節點離開網絡
????當前節點離開網絡有兩種方式：正常離開和異常離開。正常離開的節點在離開前可以做些準備工作，包括通知相應節點修改前趨后繼以及將持有數據遷移到相應機器上。異常離開通常是由于機器故障導致，為避免數據丟失，可以采用將數據備份的方式解決。
關于路由表失效問題，可以通過對每個節點定期檢查路由表的方式解決。
(4)虛擬節點
????上述一致性哈希算法存在兩個問題，一個是數據映射是隨機的，可能導致集群的負載不均衡，另一個是集群中的節點存在性能上的差異，可能會導致低性能節點高負載的情況，而且新節點加入時只能緩解其后繼一個節點的容量飽和問題，不能有效的緩解集群中其他節點的容量飽和問題。針對以上問題，引入“虛擬節點”的概念，即將一臺物理機器虛擬成若干個虛擬節點，分別映射到一致性哈希環的不同位置。這樣就解決了上述問題。

3 . 范圍分片（Range Partition）
????范圍分片首先將所有記錄主鍵進行排序，然后在排好序的主鍵空間里將記錄劃分成數據分片，每個數據分片存儲有序的主鍵空間片段內的所有記錄。保持一個數據分片的映射表，表中每一項記在數據分片的最小主鍵及其對應的物理機地址，在對記錄進行增刪改時，查找映射表找到其對應的物理機，置于分片數據在物理機的管理方式往往采用LSM樹(Log Structured Merge Trees)，這是一種高效的數據索引結構。范圍分片的模型如下圖所示：

總結

以上是生活随笔為你收集整理的大数据日知录（一）数据分片与路由的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。