BigData之Hbase：Hbase数据管理的简介、下载、案例应用之详细攻略
BigData之Hbase：Hbase數據管理的簡介、下載、案例應用之詳細攻略
?
?
?
?
目錄
Hbase數據管理的簡介——基于Hadoop的非結構化、基于列的數據存儲的數據庫
1、HBase的架構體現及與HDFS、MapReduce、Zookeeper之間關系
2、Hbase的訪問接口
3、HBase中的所有數據文件都存儲在Hadoop HDFS文件系統上，主要包括上述提出的兩種文件類型：
4、Hbase與傳統的mysql、oracle的差別——列式數據與行式數據的區別——NoSql數據庫與傳統關系型數據的區別
Hbase VS Oracle
列式數據庫(Hbase) VS 行式數據庫(Oracle)
5、什么時候使用Hbase？
Hbase數據管理的下載
Hbase數據管理的案例應用
1、內部應用
?
?
?
Hbase數據管理的簡介——基于Hadoop的非結構化、基于列的數據存儲的數據庫
? ? ? ? HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
- HBase利用Hadoop HDFS作為其文件存儲系統；
- Google運行MapReduce來處理Bigtable中的海量數據，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據
- Google Bigtable利用 Chubby作為協同服務，HBase利用Zookeeper作為對應。
? ? ? ? HBase是一個分布式的、面向列的開源數據庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。
? ? ? Hbase是一種No SQL數據庫，這意味著它不像傳統的RDBMS數據庫那樣支持SQL作為查詢語言。Hbase是一種分布式存儲的數據庫，技術上來講，它更像是分布式存儲而不是分布式數據庫。
- Hadoop HDFS為HBase提供了高可靠性的底層存儲支持；
- Hadoop MapReduce為HBase提供了高性能的計算能力；
- Zookeeper為HBase提供了穩定服務和failover機制。
?
?
1、HBase的架構體現及與HDFS、MapReduce、Zookeeper之間關系
? ? ? ? ?HBase位于結構化存儲層。Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩定服務和failover機制。
- Zookeeper，作為分布式的協調。RegionServer也會把自己的信息寫到ZooKeeper中。
- HDFS是Hbase運行的底層文件系統
- RegionServer，理解為數據節點，存儲數據的。
- Master RegionServer要實時的向Master報告信息。Master知道全局的RegionServer運行情況，可以控制RegionServer的故障轉移和Region的切分。
?
?
?
?
?
2、Hbase的訪問接口
- (1)、Native Java API，最常規和高效的訪問方式，適合Hadoop MapReduce Job并行批處理HBase表數據。
- (2)、HBase Shell，HBase的命令行工具，最簡單的接口，適合HBase管理使用。
- (3)、Thrift Gateway，利用Thrift序列化技術，支持C++，PHP，Python等多種語言，適合其他異構系統在線訪問HBase表數據。
- (4)、REST Gateway，支持REST 風格的Http API訪問HBase, 解除了語言限制。
- (5)、Pig，可以使用Pig Latin流式編程語言來操作HBase中的數據，和Hive類似，本質最終也是編譯成MapReduce Job來處理HBase表數據，適合做數據統計。
- (6)、Hive，當前Hive的Release版本尚沒有加入對HBase的支持，但在下一個版本Hive 0.7.0中將會支持HBase，可以使用類似SQL語言來訪問HBase。
?
3、HBase中的所有數據文件都存儲在Hadoop HDFS文件系統上，主要包括上述提出的兩種文件類型：
- (1)、HFile， HBase中KeyValue數據的存儲格式，HFile是Hadoop的二進制格式文件，實際上StoreFile就是對HFile做了輕量級包裝，即StoreFile底層就是HFile
- (2)、HLog File，HBase中WAL（Write Ahead Log） 的存儲格式，物理上是Hadoop的Sequence File。
?
?
4、Hbase與傳統的mysql、oracle的差別——列式數據與行式數據的區別——NoSql數據庫與傳統關系型數據的區別
參考文章：https://blog.csdn.net/yczws1/article/details/19178265#1536434-tsina-1-98976-66a1f5d8f89e9ad52626f6f40fdeadaa
4.1、Hbase VS Oracle
- (1)、Hbase適合大量插入同時又有讀的情況。輸入一個Key獲取一個value或輸入一些key獲得一些value。
- (2)、Hbase的瓶頸是硬盤傳輸速度。Hbase的操作，它可以往數據里面insert，也可以update一些數據，但update的實際上也是insert，只是插入一個新的時間戳的一行。Delete數據，也是insert，只是insert一行帶有delete標記的一行。
? ? ? ?Hbase的所有操作都是追加插入操作。Hbase是一種日志集數據庫。它的存儲方式，像是日志文件一樣。它是批量大量的往硬盤中寫，通常都是以文件形式的讀寫。這個讀寫速度，就取決于硬盤與機器之間的傳輸有多快。
? ? ? ??而Oracle的瓶頸是硬盤尋道時間。它經常的操作時隨機讀寫。要update一個數據，先要在硬盤中找到這個block，然后把它讀入內存，在內存中的緩存中修改，過段時間再回寫回去。由于你尋找的block不同，這就存在一個隨機的讀。硬盤的尋道時間主要由轉速來決定的。而尋道時間，技術基本沒有改變，這就形成了尋道時間瓶頸。 - (3)、Hbase中數據可以保存許多不同時間戳的版本（即同一數據可以復制許多不同的版本，準許數據冗余，也是優勢）。數據按時間排序，因此Hbase特別適合尋找按照時間排序尋找Top n的場景。找出某個人最近瀏覽的消息，最近寫的N篇博客，N種行為等等，因此Hbase在互聯網應用非常多。
- (4)、Hbase的局限是只能做很簡單的Key-value查詢。它適合有高速插入，同時又有大量讀的操作場景。而這種場景又很極端，并不是每一個公司都有這種需求。在一些公司，就是普通的OLTP（聯機事務處理）隨機讀寫。在這種情況下，Oracle的可靠性，系統的負責程度又比Hbase低一些。而且Hbase局限還在于它只有主鍵索引，因此在建模的時候就遇到了問題。比如，在一張表中，很多的列我都想做某種條件的查詢。但卻只能在主鍵上建快速查詢。所以說，不能籠統的說那種技術有優勢。
- (5)、Oracle是行式數據庫，而Hbase是列式數據庫。列式數據庫的優勢在于數據分析這種場景。數據分析與傳統的OLTP的區別。數據分析，經常是以某個列作為查詢條件，返回的結果也經常是某一些列，不是全部的列。在這種情況下，行式數據庫反應的性能就很低效。
?
4.2、列式數據庫(Hbase) VS 行式數據庫(Oracle)
- 列式數據庫：是以列作為元素存儲的。同一個列的元素會擠在一個塊。當要讀某些列，只需要把相關的列塊讀到內存中，這樣讀的IO量就會少很多。通常，同一個列的數據元素通常格式都是相近的。這就意味著，當數據格式相近的時候，數據就可以做大幅度的壓縮。所以，列式數據庫在數據壓縮方面有很大的優勢，壓縮不僅節省了存儲空間，同時也節省了IO。（這一點，可利用在當數據達到百萬、千萬級別以后，數據查詢之間的優化，提高性能，示場景而定）
- 行式數據庫：Oracle為例，數據文件的基本組成單位：塊/頁。塊中數據是按照一行行寫入的。這就存在一個問題，當我們要讀一個塊中的某些列的時候，不能只讀這些列，必須把這個塊整個的讀入內存中，再把這些列的內容讀出來。換句話就是：為了讀表中的某些列，必須要把整個表的行全部讀完，才能讀到這些列。這就是行數據庫最糟糕的地方。
?
5、什么時候使用Hbase？
Hbase不適合解決所有的問題：
- 適合數據庫量要足夠多的場景——盡可能使所有機器高效利用。如果有十億及百億行數據，那么Hbase是一個很好的選項。如果只有幾百萬行甚至不到的數據量，RDBMS是一個很好的選擇。因為數據量小的話，真正能工作的機器量少，剩余的機器都處于空閑的狀態。
- 適合不需要輔助索引，靜態類型的列，事務等特性的場景。一個已經用RDBMS的系統想要切換到Hbase，則需要重新設計系統。
- 保證硬件資源足夠，每個HDFS集群在少于5個節點的時候，都不能表現的很好。因為HDFS默認的復制數量是3，再加上一個NameNode。
?
?
?
Hbase數據管理的下載
官方下載地址：http://www.apache.org/dyn/closer.cgi/hbase/
推薦下載地址：https://mirrors.bfsu.edu.cn/apache/hbase/
?
?
?
Hbase數據管理的案例應用
1、內部應用
- 存儲業務數據:車輛GPS信息，司機點位信息，用戶操作信息，設備訪問信息。
- 存儲日志數據:架構監控數據（登錄日志，中間件訪問日志，推送日志，短信郵件發送記錄等），業務操作日志信息。
- 存儲業務附件：UDFS系統存儲圖像，視頻，文檔等附件信息。
?
?
?
參考文章
入門HBase，看這一篇就夠了
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的BigData之Hbase：Hbase数据管理的简介、下载、案例应用之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： BigData之Hadoop：Hadoo
- 下一篇： BlockChain：区块链技术基础概念