HFile文件格式

文件結構如上圖。主要有以下部分：

• Data-block：數據塊，每個塊中存放多個KeyValue對象。默認每個塊64KB。但不是嚴格意義上的64KB，大致維持在64KB左右。
• Meta-block：儲存元數據信息
• File Info：儲存HFile文件信息
• Trailer：包含指向其他塊的指針。Trailer寫完了才能算一個完整的HFile文件。

通過以下工具可以手動解析HFile文件：

bin/hbase org.apache.hadoop.hbase.io.hfile.HFile -f 文件全路徑 -v -m -p

KeyValue格式如下：

可以看到Key中包含列族名、列名，這種重復數據會浪費內存。儲存的時候如果用了壓縮，這些重復數據可以消除掉。

參考資料：http://blog.csdn.net/javaman_chen/article/details/47833715

總結

以上是生活随笔為你收集整理的《HBase权威指南》读书笔记 第八章：架构，HFile格式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。