HBase 生態介紹

我們都知道，HBase是受Google公布的BigTable論文而產生的一種分布式、多版本、面向列的開源 KV 數據庫。HBase稀疏矩陣的設計使得其特別適合存儲非結構化的數據，比如用戶畫像、日志以及消息等數據。但是隨著業務的快速發展，我們面臨著各種新挑戰和新需求，數據格式也隨著業務的發展變得多種多樣，其中包括:KV 數據、關系數據、文檔數據、圖數據以及時空時序等數據。而且隨著時間的推移，各種數據占比越來越大，如下圖所示:

從上圖可以看出，從2013年開始，關系型數據的總體占比在逐年下降;而圖數據、搜索數據、KV 數據、文檔數據以及時序數據等卻在逐年上升。到2018年， 關系型數據的占比已經由2013年的90%多下降到 2018年的75.4%。

面對如此多樣的數據，我們急需一種系統，能夠存儲這些逐年增長的數據。所以 很有必要在 HBase 之上引入各種組件，使得 HBase 能夠支持 SQL、時序、時空、 圖、全文檢索能力、及復雜分析。所以，完整的 HBase 生態如下:

從最底下開始看，這里面可以根據不同的需求選擇不同的存儲介質。比如熱數據我們可以存儲在SSD中;溫數據存儲在HDD中，冷數據存儲在 OSS中。中間一層就是HBase以及Solr。最上層是解決各種場景的組件。下面簡單介紹下每種組件的作用。

Phoenix:主要提供SQL的方式來查詢HBase里面的數據。一般能夠在毫秒級別返回，比較適合OLTP以及操作性分析等場景。目前 Phoenix支持ANSI92語法，支持構建二級索引。

Spark:很多企業使用HBase存儲海量數據，一種常見的需求就是對這些數據進行離線分析，我們可以使用Spark(Spark SQL) 來實現海量數據的離線分析需求。同時，Spark還支持實時流計算，我們可以使用 HBase+Spark Streaming 解決實時廣告推薦等需求。

HGraphDB:HGraphDB是分布式圖數據庫，可以使用其進行圖 OLTP查詢，同時我們還可以結合 Spark GraphFrames 實現圖分析需求。通過依托圖關聯技術，幫助金融機構有效識別隱藏在網絡中的黑色信息，在團伙欺詐、黑中介識別等。

GeoMesa:目前基于NoSQL數據庫的時空數據引擎中功能最豐富、社區貢獻人數最多的開源系統。提供高效時空索引，支持點、線、面等空間要素存儲，百億級數據實現毫秒(ms)級響應;提供軌跡查詢、區域分布統計、區域查詢、密度分析、聚合、OD 分析等常用的時空分析功能;提供基于Spark SQL、REST、GeoJSON、OGC服務等多種操作方式，方便地理信息互操作。

OpenTSDB:基于HBase的分布式的，可伸縮的時間序列數據庫。適合做監控系統;譬如收集大規模集群(包括網絡設備、操作系統、應用程序)的監控數據并進行存儲，查詢。

Solr:原生的HBase只提供了Rowkey單主鍵，如果我們需要對Rowkey之外的列進行查找，這時候就會有問題。幸好我們可以使用 Solr來建立二級索引/全文索引充分滿足我們的查詢需求。
通過在 HBase之上引入了各種組件之后，使得HBase應用場景得到了極大的擴展，滿足了監控、車聯網、風控、實時推薦、政企、人工智能等場景的需求。

目前阿里云提供了HBase及X-Pack組件，其X-Pack組件形式和上面的 HBase生態很類似;除此之外，X-Pack 組件還針對HBase做了大量的優化，滿足豐富業務處理需求、同時更加易用、更加強大功能。

---

總結

以上是生活随笔為你收集整理的生态篇-HBase 生态介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。