Hadoop學習筆記—15.HBase框架學習（基礎知識篇）

HBase是Apache Hadoop的數(shù)據(jù)庫，能夠對大型數(shù)據(jù)提供隨機、實時的讀寫訪問。HBase的目標是存儲并處理大型的數(shù)據(jù)。HBase是一個開源的，分布式的，多版本的，面向列的存儲模型，它存儲的是松散型數(shù)據(jù)。

一、HBase：BigTable的開源實現(xiàn)

1.1 HBase出現(xiàn)的背景

　　（1）隨著數(shù)據(jù)規(guī)模越來越大，大量業(yè)務場景開始考慮數(shù)據(jù)存儲水平擴展，使得存儲服務可以增加/刪除，而目前的關系型數(shù)據(jù)庫更專注于一臺機器。

　　（2）海量數(shù)據(jù)量存儲成為瓶頸，單臺機器無法負載大量數(shù)據(jù)。

　　（3）單臺機器IO讀寫請求成為海量數(shù)據(jù)存儲時候高并發(fā)，大規(guī)模請求的瓶頸。

　　（4）當數(shù)據(jù)進行水平擴展時候，如何解決數(shù)據(jù)IO高一致性問題。結合Map/Reduce計算框架進行海量數(shù)據(jù)的離線分析。

1.2 BigTable成就了HBase

　　Google這個神奇的公司以其不保守的態(tài)度以學術論文的方式公開了其云計算的三大法寶：GFS、MapReduce和BigTable，其中對于BigTable的開源實現(xiàn)HBase則是由Doug Cutting完成的。

　　HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（File System）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數(shù)據(jù)庫，它是一個適合于非結構化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。

　　HBase中的表一般有這樣的特點：

　　（1） 大：一個表可以有上億行，上百萬列

　　（2） 面向列：面向列(族)的存儲和權限控制，列(族)獨立檢索。

　　（3） 稀疏：對于為空(null)的列，并不占用存儲空間，因此，表可以設計的非常稀疏。

PS：什么是列存儲？

列存儲不同于傳統(tǒng)的關系型數(shù)據(jù)庫，其數(shù)據(jù)在表中是按行存儲的，列方式所帶來的重要好處之一就是，由于查詢中的選擇規(guī)則是通過列來定義的，因此整個數(shù) 據(jù)庫是自動索引化的。按列存儲每個字段的數(shù)據(jù)聚集存儲，在查詢只需要少數(shù)幾個字段的時候，能大大減少讀取的數(shù)據(jù)量，一個字段的數(shù)據(jù)聚集存儲，那就更容易為 這種聚集存儲設計更好的壓縮/解壓算法。下圖講述了傳統(tǒng)的行存儲和列存儲的區(qū)別：

1.3 HBase在Hadoop項目中的位置

　　與FUJITSU Cliq等商用大數(shù)據(jù)產品不同，HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)；Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)；Google Bigtable利用 Chubby作為協(xié)同服務，HBase利用Zookeeper作為對應。

　　下圖展示了HBase在Hadoop生態(tài)系統(tǒng)體系結構中所處的位置：

　　上圖描述了Hadoop生態(tài)系統(tǒng)中的各層系統(tǒng)。其中，HBase位于結構化存儲層，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩(wěn)定服務和失效轉移（FailOver）機制。

　　此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。

二、HBase的數(shù)據(jù)模型

　　HBASE中的每一張表，就是所謂的BigTable，一張稀疏表。RowKey 和 ColumnKey 是二進制值byte[]，按字典順序排序；Timestamp 是一個 64 位整數(shù)；value 是一個未解釋的字節(jié)數(shù)組byte[]。表中的不同行可以擁有不同數(shù)量的成員。即支持“動態(tài)模式“模型。

2.1 邏輯模型

　　Table &?Column Family

　　HBase以表的形式存儲數(shù)據(jù)。表有行和列組成。列劃分為若干個列族(row family)，如下圖所示：

　　?? Row Key: 行鍵，Table的主鍵，Table中的記錄按照Row Key排序

　　?? Timestamp: 時間戳，每次數(shù)據(jù)操作對應的時間戳，可以看作是數(shù)據(jù)的version number

　　?? Column Family：列簇，Table在水平方向有一個或者多個Column Family組成，一個Column Family中可以由任意多個Column組成，即Column Family支持動態(tài)擴展，無需預先定義Column的數(shù)量以及類型，所有Column均以二進制格式存儲，用戶需要自行進行類型轉換。

2.2 物理模型

　（1）物理存儲表示

　　將邏輯模型中的一個Row分割為根據(jù)Column family存儲的物理模型，如下圖所示：

　（2）Table & Region

　　當Table隨著記錄數(shù)不斷增加而變大后，會逐漸分裂成多份splits，成為regions，一個region由[startkey,endkey)表示，不同的region會被Master分配給相應的RegionServer進行管理，如下圖所示：

　　由上可知，HBase的伸縮性主要依賴于其可分裂的HRegion及可伸縮的分布式文件系統(tǒng)HDFS，下面介紹一下HBase如何實現(xiàn)伸縮性：

　　①HBase中數(shù)據(jù)以HRegion為單位進行管理，也就是說應用程序如果想要訪問一個數(shù)據(jù)，必須先找到HRegion，然后將數(shù)據(jù)讀寫操作提交給HRegion，由HRegion完成存儲層面的數(shù)據(jù)操作。

　?、诿總€HRegion中存儲一段Key區(qū)間（例如：[Key1,Key2)）的數(shù)據(jù)，HRegionServer是物理服務器，每個HRegionServer上可以啟動多個HRegion實例。當一個HRegion中寫入的數(shù)據(jù)太多，達到配置的閥值時，HRegion會分裂成兩個HRegion，并將HRegion在整個集群中進行遷移，以使HRegionServer的負載均衡。

　?、鬯械?strong>HRegion的信息都（例如：存儲的Key值區(qū)間、所在HRegionServer的IP地址和端口號等）記錄在HMaster服務器上。 同時為了保證高可用，HBase啟動了多個HMaster，并通過ZooKeeper（一個支持分布式一致性的數(shù)據(jù)管理服務）選舉出一個主服務器，通過這 個主HMaster服務器獲得Key值所在的HRegionServer，最后請求該HRegionServer上的HRegion實例，獲得需要的數(shù) 據(jù)。其具體的數(shù)據(jù)尋址訪問流程如下圖所示：

三、HBase的系統(tǒng)架構

3.1 Client

　　包含訪問hbase的接口，Client維護著一些cache來加快對hbase的訪問，比如regione的位置信息。

3.2 ZooKeeper

　　（1） 保證任何時候，集群中只有一個master

　　（2） 存貯所有Region的尋址入口。

　　（3） 實時監(jiān)控Region Server的狀態(tài)，將Region server的上線和下線信息實時通知給Master

　　（4） 存儲Hbase的schema,包括有哪些table，每個table有哪些column family

3.3 HMaster

　　（1）為Region Server分配Region

　　（2）負責Region Server的負載均衡

　　（3）發(fā)現(xiàn)失效的Region Server并重新分配其上的Region

　　（4）GFS上的垃圾文件回收

　　（5）處理Schema更新請求

　　HMaster主要作用在于，通過HMaster維護系統(tǒng)表-ROOT-,.META.，記錄regionserver所對應region變化信息。此外還負責監(jiān)控處理當前hbase cluster中regionserver狀態(tài)變化信息。

PS：兩張神奇的表：-ROOT-和.META

① .META.：記錄了用戶表的Region信息，.META.可以有多個regoin ②?-ROOT-：記錄了.META.表的Region信息，-ROOT-只有一個region

Zookeeper中記錄了-ROOT-表的location

Client訪問用戶數(shù)據(jù)之前需要首先訪問Zookeeper，然后訪問-ROOT-表，接著訪問.META.表，最后才能找到用戶數(shù)據(jù)的位置去訪問：

3.4 Region Server

　　（1）Region Server維護HMaster分配給它的Region，處理對這些Region的IO請求

　　（2）Region Server負責切分在運行過程中變得過大的Region

　　可以看出，client 訪問hbase 上數(shù)據(jù)的過程并不需要master 參與，尋址訪問zookeeper 和region server，數(shù)據(jù)讀寫訪問regioneserver。HRegionServer主要負責響應用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)，是 HBase中最核心的模塊。

參考資料

　　（1）奧特MAN，《HBase入門篇》：http://www.uml.org.cn/sjjm/201212141.asp

　　（2）加俊，《HBase簡介》：http://jiajun.iteye.com/blog/899632

　　（3）百度百科，《HBase》：http://baike.baidu.com/view/1993870.htm

　　（4）reck for zhou，《HBase介紹》：http://www.cnblogs.com/reckzhou/archive/2012/03/22/2412002.html

?

作者：周旭龍

出處：http://www.cnblogs.com/edisonchou/

本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接。

總結

以上是生活随笔為你收集整理的Hadoop学习笔记—15.HBase框架学习（基础知识篇）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。