全網最詳細的大數據HBase文章系列，強烈建議收藏加關注！?

新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點。

目錄

系列歷史文章

HBase讀取和存儲數據的流程

一、HBase讀取數據的流程

二、HBase存儲數據的流程

客戶端的同步流程:?

異步服務器端執行過程:

---

系列歷史文章

2021年大數據HBase（十七）：HBase的360度全面調優

2021年大數據HBase（十六）：HBase的協處理器(Coprocessor)

2021年大數據HBase（十五）：HBase的Bulk Load批量加載操作

2021年大數據HBase（十四）：HBase的原理及其相關的工作機制

2021年大數據HBase（十三）：HBase讀取和存儲數據的流程

2021年大數據HBase（十二）：Apache Phoenix 二級索引

2021年大數據HBase（十一）：Apache Phoenix的視圖操作

2021年大數據HBase（十）：Apache Phoenix的基本入門操作

2021年大數據HBase（九）：Apache Phoenix的安裝

2021年大數據HBase（八）：Apache Phoenix的基本介紹

2021年大數據HBase（七）：Hbase的架構！【建議收藏】

2021年大數據HBase（六）：HBase的高可用！【建議收藏】

2021年大數據HBase（五）：HBase的相關操作-JavaAPI方式！【建議收藏】

2021年大數據HBase（四）：HBase的相關操作-客戶端命令式！【建議收藏】

2021年大數據HBase（三）：HBase數據模型

2021年大數據HBase（二）：HBase集群安裝操作

2021年大數據HBase（一）：HBase基本簡介

HBase讀取和存儲數據的流程

一、HBase讀取數據的流程

1、由客戶端發起讀取數據的請求, 首先先連接 zookeeper , 從zookeeper獲取hbase:meta表被哪個regionServer所管理meta表中主要記錄了 hbase中各個表有那些region,以及每個region被哪個regionServer所管理hbase中非常特殊的元數據存儲表, 此表只會有一個region

2、連接meta對應的regionServer, 從meta中獲取要查詢數據的在那些region中, 并將其對應regionServer地址返回給客戶端

3、開始并行的連接這些regionServer, 從這些regionServer中獲取數據，先從 memStore ?--> blockCache ---> storeFile ?---> 大的Hfile

4、各個regionserver將讀取到數據返回給client , client根據需要過濾出需要的數據,?最后展示給調用者

?

二、HBase存儲數據的流程

客戶端的同步流程:?

1、客戶端發起寫入數據的請求, 首先會先連接zookeeper, 從zookeeper獲取hbase:meta表所在的regionServer的地址

2、連接meta表對應的regionServer, 從meta表獲取目標表對應要寫入數據的region的地址(基于region的startkey和endKey來確定)

3、連接對應region的regionServer的地址, 開始進行數據的寫入

4、首先先將數據寫入到這個regionServer的Hlog日志中, 然后在將數據寫入到 對應的region中store模塊的memStore中, 當這個兩個地方都寫入完成后, 客戶端就會認為數據寫入完成了

異步服務器端執行過程:

5、客戶端不斷的進行數據的寫入工作, memStore數據也會不斷的增多, 當memStore中數據達到一定的閾值(128M|1小時)后, 內部最終啟動一個flush線程, 將數據刷新到HDFS上, 形成一個storeFile文件

6、隨著memStore不斷刷新數據到HDFS中, storeFile文件也會越來越多, 當storeFile的文件達到一定的閾值后(3個及以上), 啟動compact線程, 將多個文件合并最終合并為一個大文件(Hfile)

7、隨著不斷的合并, 這個大的Hfile文件也會越來越大, 當這個大的Hfile達到一定的閾值(最終10GB)后, 啟動split機制, 將大的Hfile一分為二的操作, 此時region也會進行分割操作, 變成兩個新的region, 每個region管理每個分割后新的Hfile文件, 原有就得region就會被下線

8、隨著不斷的進行split, 表的region的數量也會越來越多的

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
• 📢大數據系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据HBase（十三）：HBase读取和存储数据的流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。