2021年大数据HBase(七):Hbase的架构!【建议收藏】
全網最詳細的大數據HBase文章系列,強烈建議收藏加關注!
新文章都已經列出歷史文章目錄,幫助大家回顧前面的知識重點。
目錄
系列歷史文章
前言
Hbase的架構
一、Client
二、Master Server
三、Region Server
四、邏輯結構模型
五、Region
六、Store
七、MemStore
八、StoreFile
九、WAL
十、集群架構
系列歷史文章
2021年大數據HBase(十七):HBase的360度全面調優
2021年大數據HBase(十六):HBase的協處理器(Coprocessor)
2021年大數據HBase(十五):HBase的Bulk Load批量加載操作
2021年大數據HBase(十四):HBase的原理及其相關的工作機制
2021年大數據HBase(十三):HBase讀取和存儲數據的流程
2021年大數據HBase(十二):Apache Phoenix 二級索引
2021年大數據HBase(十一):Apache Phoenix的視圖操作
2021年大數據HBase(十):Apache Phoenix的基本入門操作
2021年大數據HBase(九):Apache Phoenix的安裝
2021年大數據HBase(八):Apache Phoenix的基本介紹
2021年大數據HBase(七):Hbase的架構!【建議收藏】
2021年大數據HBase(六):HBase的高可用!【建議收藏】
2021年大數據HBase(五):HBase的相關操作-JavaAPI方式!【建議收藏】
2021年大數據HBase(四):HBase的相關操作-客戶端命令式!【建議收藏】
2021年大數據HBase(三):HBase數據模型
2021年大數據HBase(二):HBase集群安裝操作
2021年大數據HBase(一):HBase基本簡介
前言
?2021大數據領域優質創作博客,帶你從入門到精通,該博客每天更新,逐漸完善大數據各個知識體系的文章,幫助大家更高效學習。
有對大數據感興趣的可以關注微信公眾號:三幫大數據
Hbase的架構
一、Client
客戶端,例如:發出HBase操作的請求。例如:之前我們編寫的Java API代碼、以及HBase shell,都是CLient二、Master Server
- 監控RegionServer , 處理RegionServer故障轉移
- 處理元數據的變更 , 處理region的分配或移除
- 在空閑時間進行數據的負載均衡
- 通過Zookeeper發布自己的位置給客戶端
三、Region Server
- 處理分配給它的Region , 負責存儲HBase的實際數據
- 刷新緩存到HDFS , 維護HLog
- 執行壓縮 , 負責處理Region分片
- RegionServer中包含了大量豐富的組件,如下:
四、邏輯結構模型
五、Region
在HBASE中,表被劃分為很多「Region」,并由Region Server提供服務
六、Store
Region按列族垂直劃分為「Store」,存儲在HDFS在文件中
七、MemStore
- MemStore與緩存內存類似
- 當往HBase中寫入數據時,首先是寫入到MemStore
- 每個列族將有一個MemStore
- 當MemStore存儲快滿的時候,整個數據將寫入到HDFS中的HFile中
八、StoreFile
- 每當任何數據被寫入HBASE時,首先要寫入MemStore
- 當MemStore快滿時,整個排序的key-value數據將被寫入HDFS中的一個新的HFile中
- 寫入HFile的操作是連續的,速度非常快
- 物理上存儲的是HFile
九、WAL
- WAL全稱為Write Ahead Log,它最大的作用就是 故障恢復
- WAL是HBase中提供的一種高并發、持久化的日志保存與回放機制
- 每個業務數據的寫入操作(PUT/DELETE/INCR),都會保存在WAL中
- 一旦服務器崩潰,通過回放WAL,就可以實現恢復崩潰之前的數據
- 物理上存儲是Hadoop的Sequence File
十、集群架構
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
- 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
- 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?
總結
以上是生活随笔為你收集整理的2021年大数据HBase(七):Hbase的架构!【建议收藏】的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年大数据HBase(六):HBa
- 下一篇: ❤️让人心跳加速的陌陌案例,大数据必需学