HBase是一個分布式的、面向列的開源數據庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。

1、Hadoop生太圈

　　通過Hadoop生態圈，可以看到HBase的身影，可見HBase在Hadoop的生態圈是扮演這一個重要的角色那就是  實時、分布式、高維數據 的數據存儲；

2、HBase簡介 

　　– HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮、 實時讀寫的分布式數據庫

　　– 利用Hadoop HDFS作為其文件存儲系統,利用Hadoop MapReduce來處理 HBase中的海量數據,利用Zookeeper作為其分布式協同服務

　　– 主要用來存儲非結構化和半結構化的松散數據（列存NoSQL數據庫）

3、HBase數據模型

　　以關系型數據的思維下會感覺，上面的表格是一個5列4行的數據表格，但是在HBase中這種理解是錯誤的，其實在HBase中上面的表格只是一行數據；

　　Row Key:

　　　　– 決定一行數據的唯一標識

　　　　– RowKey是按照字典順序排序的。

　　　　– Row key最多只能存儲64k的字節數據。

　　Column Family列族（CF1、CF2、CF3） & qualifier列：

　　　　– HBase表中的每個列都歸屬于某個列族，列族必須作為表模式(schema) 定義的一部分預先給出。如create ‘test’, ‘course’；

　　　　– 列名以列族作為前綴，每個“列族”都可以有多個列成員(column，每個列族中可以存放幾千~上千萬個列)；如 CF1:q1, CF2:qw,

　　　　   新的列族成員（列）可以隨后按需、動態加入，Family下面可以有多個Qualifier，所以可以簡單的理解為，HBase中的列是二級列，

　　　　　也就是說Family是第一級列，Qualifier是第二級列。兩個是父子關系。

　　　　– 權限控制、存儲以及調優都是在列族層面進行的；

　　　　– HBase把同一列族里面的數據存儲在同一目錄下，由幾個文件保存。

　　　　– 目前為止HBase的列族能能夠很好處理最多不超過3個列族。

　　Timestamp時間戳：

　　　　– 在HBase每個cell存儲單元對同一份數據有多個版本，根據唯一的時間 戳來區分每個版本之間的差異，不同版本的數據按照時間倒序排序，

　　　　　最新的數據版本排在最前面。

　　　　– 時間戳的類型是64位整型。

　　　　– 時間戳可以由HBase(在數據寫入時自動)賦值，此時時間戳是精確到毫 秒的當前系統時間。

　　　　– 時間戳也可以由客戶顯式賦值，如果應用程序要避免數據版本沖突， 就必須自己生成具有唯一性的時間戳。

　　Cell單元格：

　　　　– 由行和列的坐標交叉決定；

　　　　– 單元格是有版本的（由時間戳來作為版本）；

　　　　– 單元格的內容是未解析的字節數組（Byte[]），cell中的數據是沒有類型的，全部是字節碼形式存貯。

　　　　　? 由{row key，column(=<family> +<qualifier>)，version}唯一確定的單元。

　

4、HBase體系架構

　　

　　　　Client

　　　　　? 包含訪問HBase的接口并維護cache來加快對HBase的訪問

　　　　Zookeeper

　　　　　? 保證任何時候，集群中只有一個master

　　　　　? 存貯所有Region的尋址入口。

　　　　　? 實時監控Region server的上線和下線信息。并實時通知Master

　　　　　? 存儲HBase的schema和table元數據

　　　　Master

　　　　　? 為Region server分配region

　　　　　? 負責Region server的負載均衡

　　　　　? 發現失效的Region server并重新分配其上的region

　　　　　? 管理用戶對table的增刪改操作

　　　　RegionServer

　　　　　? Region server維護region，處理對這些region的IO請求

　　　　　? Region server負責切分在運行過程中變得過大的region　

　　　  HLog(WAL log)：

　　　　　　– HLog文件就是一個普通的Hadoop Sequence File，Sequence File 的Key是 HLogKey對象，HLogKey中記錄了寫入數據的歸屬信息，

　　　　   　　除了table和 region名字外，同時還包括sequence number和timestamp，timestamp是” 寫入時間”，sequence number的起始值為0，

　　　　　　　或者是最近一次存入文件系 統中sequence number。

　　　　　　– HLog SequeceFile的Value是HBase的KeyValue對象，即對應HFile中的 KeyValue

　　　　Region

　　　　　　– HBase自動把表水平劃分成多個區域(region)，每個region會保存一個表 里面某段連續的數據；每個表一開始只有一個region，隨著數據不斷插 入表，

　　　　　　　region不斷增大，當增大到一個閥值的時候，region就會等分會 兩個新的region（裂變）；

　　　　　　– 當table中的行不斷增多，就會有越來越多的region。這樣一張完整的表 被保存在多個Regionserver上。

　　　　Memstore 與 storefile

　　　　　　– 一個region由多個store組成，一個store對應一個CF（列簇）

　　　　　　– store包括位于內存中的memstore和位于磁盤的storefile寫操作先寫入 memstore，當memstore中的數據達到某個閾值，

　　　　　　　hregionserver會啟動 flashcache進程寫入storefile，每次寫入形成單獨的一個storefile

　　　　　　– 當storefile文件的數量增長到一定閾值后，系統會進行合并（minor、 major compaction），在合并過程中會進行版本合并和刪除工作 （majar），

　　　　　　　形成更大的storefile。

　　　　　　– 當一個region所有storefile的大小和超過一定閾值后，會把當前的region 分割為兩個，并由hmaster分配到相應的regionserver服務器，實現負載均衡。

　　　　　　– 客戶端檢索數據，先在memstore找，找不到再找storefile

　　　　　　– HRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表 示不同的HRegion可以分布在不同的HRegion server上。

　　　　　　– HRegion由一個或者多個Store組成，每個store保存一個columns family。

　　　　　　– 每個Strore又由一個memStore和0至多個StoreFile組成。

　　　　　　　如圖：StoreFile 以HFile格式保存在HDFS上。

　　　　

　　           

理解難區：

　　1、flush刷新在HDFS上呈現究竟是怎么刷新的呢？？

　　　　我們目前剛剛學習的時候，添加數據，都是一條一條的put進去，而我們在put的數據比較少（小于128M）的時候，我們put完去HDFS上并未查看到我們put的文件，這是因為數據還在內存中，也就是還在memStore中，所以要想在HDFS中查看到，我們必須手動刷新到磁盤中，這是將memStore的數據刷新到StoreFile中去，這樣我們在HDFS中就可以查看到了。　　

　　2、為什么Hbase不可以使用像Mysql那樣進行查詢？？

　　　　首先，我們應該可以感受到，我們在插入的時候，每行數據，有多少列，列名叫什么完全是我們自己定義的，之所以不支持像MySql那樣對列進行查詢和操作，因為不確定列的個數和名稱。

　　3、數據最后存在HDFS上的，HDFS不支持刪改，為什么Hbase就可以呢？？

　　　　這里有個思想誤區，的確，數據是以HFile形式存在HDFS上的，而且HDFS的確是不支持刪改的，但是為什么Hbase就支持呢？首先，這里的刪除并不是真正意義上的對數據進行刪除，而是對數據進行打上標記，我們再去查的時，就不會查到這個打過標記的數據，這個數據Hmaster會每隔1小時清理。修改是put兩次，Hbase會取最新的數據，過期數據也是這個方式被清理。

總結

以上是生活随笔為你收集整理的Week09_day05(Hbase的介绍和工作原理)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。