日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

2021年大数据HBase(七):Hbase的架构!【建议收藏】

發布時間:2023/11/28 38 豆豆
生活随笔 收集整理的這篇文章主要介紹了 2021年大数据HBase(七):Hbase的架构!【建议收藏】 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

全網最詳細的大數據HBase文章系列,強烈建議收藏加關注!

新文章都已經列出歷史文章目錄,幫助大家回顧前面的知識重點。

目錄

系列歷史文章

前言

Hbase的架構

一、Client

二、Master Server

三、Region Server

四、邏輯結構模型

五、Region

六、Store

七、MemStore

八、StoreFile

九、WAL

十、集群架構


系列歷史文章

2021年大數據HBase(十七):HBase的360度全面調優

2021年大數據HBase(十六):HBase的協處理器(Coprocessor)

2021年大數據HBase(十五):HBase的Bulk Load批量加載操作

2021年大數據HBase(十四):HBase的原理及其相關的工作機制

2021年大數據HBase(十三):HBase讀取和存儲數據的流程

2021年大數據HBase(十二):Apache Phoenix 二級索引

2021年大數據HBase(十一):Apache Phoenix的視圖操作

2021年大數據HBase(十):Apache Phoenix的基本入門操作

2021年大數據HBase(九):Apache Phoenix的安裝

2021年大數據HBase(八):Apache Phoenix的基本介紹

2021年大數據HBase(七):Hbase的架構!【建議收藏】

2021年大數據HBase(六):HBase的高可用!【建議收藏】

2021年大數據HBase(五):HBase的相關操作-JavaAPI方式!【建議收藏】

2021年大數據HBase(四):HBase的相關操作-客戶端命令式!【建議收藏】

2021年大數據HBase(三):HBase數據模型

2021年大數據HBase(二):HBase集群安裝操作

2021年大數據HBase(一):HBase基本簡介

前言

?2021大數據領域優質創作博客,帶你從入門到精通,該博客每天更新,逐漸完善大數據各個知識體系的文章,幫助大家更高效學習。

有對大數據感興趣的可以關注微信公眾號:三幫大數據

Hbase的架構

一、Client

客戶端,例如:發出HBase操作的請求。例如:之前我們編寫的Java API代碼、以及HBase shell,都是CLient

二、Master Server

  • 監控RegionServer , 處理RegionServer故障轉移
  • 處理元數據的變更 , 處理region的分配或移除
  • 在空閑時間進行數據的負載均衡
  • 通過Zookeeper發布自己的位置給客戶端

三、Region Server

  • 處理分配給它的Region , 負責存儲HBase的實際數據
  • 刷新緩存到HDFS , 維護HLog
  • 執行壓縮 , 負責處理Region分片
  • RegionServer中包含了大量豐富的組件,如下:
? ? ? ?Write-Ahead logs , HFile(StoreFile) , Store , MemStore , Region

四、邏輯結構模型

五、Region

在HBASE中,表被劃分為很多「Region」,并由Region Server提供服務

六、Store

Region按列族垂直劃分為「Store」,存儲在HDFS在文件中

七、MemStore

  • MemStore與緩存內存類似
  • 當往HBase中寫入數據時,首先是寫入到MemStore
  • 每個列族將有一個MemStore
  • 當MemStore存儲快滿的時候,整個數據將寫入到HDFS中的HFile中

八、StoreFile

  • 每當任何數據被寫入HBASE時,首先要寫入MemStore
  • 當MemStore快滿時,整個排序的key-value數據將被寫入HDFS中的一個新的HFile中
  • 寫入HFile的操作是連續的,速度非常快
  • 物理上存儲的是HFile

九、WAL

  • WAL全稱為Write Ahead Log,它最大的作用就是 故障恢復
  • WAL是HBase中提供的一種高并發、持久化的日志保存與回放機制
  • 每個業務數據的寫入操作(PUT/DELETE/INCR),都會保存在WAL中
  • 一旦服務器崩潰,通過回放WAL,就可以實現恢復崩潰之前的數據
  • 物理上存儲是Hadoop的Sequence File

十、集群架構


  • 📢博客主頁:https://lansonli.blog.csdn.net
  • 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
  • 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
  • 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据HBase(七):Hbase的架构!【建议收藏】的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。