文章目錄

• 術語
• • Table
  • Row
  • Column Family（列簇或列族）
  • Column
  • Column Qualifier
  • Cell
  • Timestamp
• 標識設計要點
• • hbase與關系型數據庫對比
  • 設計時考慮因素
  • 設計要點
  • • 行鍵rowkey設計
    • 列簇設計
  • 列簇屬性
• 總結

術語

Table

• Hbase的table由多個行組成。

Row

• 一個行在Hbase中由一個或多個有值的列組成。Row按照字母進行排序，因此行鍵的設計非常重要。這種設計方式可以讓有關系的行非常的近，通常行鍵的設計是網站的域名反轉，比如(org.apache.www, org.apache.mail, org.apache.jira)，這樣的話所有的Apache的域名就很接近。

Column Family（列簇或列族）

• 列簇在物理上包含了許多的列與列的值，每個列簇都有一些存儲的屬性可配置。例如是否使用緩存，壓縮類型，存儲版本數等。在表中，每一行都有相同的列簇，盡管有些列簇什么東西也沒有存。

Column

• 列由列簇加上列的標識組成，一般是“列簇：列標識”，創建表的時候不用指定列名（列標識）

Column Qualifier

• 列簇的限定詞，理解為列的唯一標識。但是列標識是可以改變的，因此每一行可能有不同的列標識

Cell

• Cell是由row，column family,column qualifier包含時間戳與值組成的，一般表達某個值的版本。

Timestamp

• 時間戳一般寫在value的旁邊，代表某個值的版本號，默認的時間戳是寫入數據的那一刻，也可以在寫入數據的時候指定不同的時間戳

標識設計要點

• 只要是數據庫都存在，模式設計的問題，關系型中有模式設計的范式，Hbase作為列式存儲數據庫，其模式設計也非常重要。

hbase與關系型數據庫對比

屬性hbaseRDBMS

數據類型	只有字符串	豐富的數據類型
數據操作	增刪改查，不支持join	各種各樣的函數與表連接
存儲模式	基于列式存儲	基于表結構和行式存儲
數據保護	更新后仍然保留舊數據	數據替換
可伸縮性	輕易增加節點	需要中間層，犧牲性能

設計時考慮因素

• Hbase關鍵概念：表，rowkey，列簇，時間戳
  • 這個表應該有多少列簇
  • 列簇使用什么數據
  • 每個列簇有有多少列
  • 列名是什么，盡管列名不必在建表時定義，但讀寫數據是要知道的
  • 單元應該存放什么數據
  • 每個單元存儲多少時間版本
  • 行鍵(rowKey)結構是什么，應該包含什么信息

設計要點

行鍵rowkey設計

• 說明
  • 行鍵是關鍵部分，直接關系到后續服務的訪問性能。如果行鍵設計不合理，后續查詢服務效率會成倍的遞減。
• 細節
  • rowkey全局唯一，如果重復添加數據會覆蓋。
  • 避免單調的遞增行鍵，因為Hbase的行鍵是有序排列的，這樣可能導致一段時間內大部分寫入集中在某一個Region上進行操作，負載都在一臺節點上。可以設計成： [metric_type][event_timestamp]，不同的metric_type可以將壓力分散到不同的region上
  • 行鍵短到可讀即可，因為查詢短鍵比長鍵性能好些，所以設計時要權衡長度，最好不要超過16個字節。
  • 行鍵不能改變，唯一可以改變的方式是先刪除后插入

列簇設計

• 說明
  • 列簇是一些列的集合，一個列簇的成員有相同的前綴，以冒號(:)作為分隔符。
• 細節
  • 當前Hbase不能很好處理2~3個以上的列簇，所以盡可能讓列簇少一些，如果表有多個列簇，列簇A有100萬行數據，列簇B有10億行，那么列簇A會分散到很多的Region導致掃描列簇A的時候效率底下。
  • 列簇名的長度要盡量小，一個為了節省空間，另外加快效率，比如d表示data，v表示value

列簇屬性

• HFile數據塊，默認是64KB，數據庫數據的大小影響數據塊索引的大小。數據塊大的話一次加載進內存的數據越多，掃描查詢效果越好。但是數據塊小的話，隨機查詢性能更好
• 數據塊緩存，數據塊緩存默認是打開的，如果一些比較少訪問的數據可以選擇關閉緩存
• 數據壓縮，壓縮會提高磁盤利用率，但是會增加CPU的負載，看情況進行控制

總結

• 了解hbase設計是影響hbase查詢效率的關鍵因素，信息的排列方式，決定數據的聚集性，使用時根據實際場景設計，如數據多對一時，增加索引表，實現多種信息規則關聯。如復雜計算過濾查詢，可使用Elasticsearch作為hbase查詢入口。
• 實踐出真知，任何理論知識必須經歷實際場景的考驗，才能真正學會，融匯貫通。

總結

以上是生活随笔為你收集整理的HBase数据模型和表设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。