HBase详细的安装和使用方法
生活随笔
收集整理的這篇文章主要介紹了
HBase详细的安装和使用方法
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
簡介
HBase的原型是Google的BigTable論文，受到了該論文思想的啟發(fā)，目前作為Hadoop的子項目來開發(fā)維護，用于支持結(jié)構(gòu)化的數(shù)據(jù)存儲。
官方網(wǎng)站：http://hbase.apache.org
民間中文文檔：https://hbase.apachecn.org/#/
- 2006年Google發(fā)表BigTable白皮書
- 2006年開始開發(fā)HBase
- 2008年北京成功開奧運會，程序員默默地將HBase弄成了Hadoop的子項目
- 2010年HBase成為Apache頂級項目
- 現(xiàn)在很多公司基于HBase開發(fā)出了定制版，比如阿里云HBase
總結(jié)：
HBase是構(gòu)建在HDFS之上的分布式、【面向列】的存儲系統(tǒng)，在需要實時讀寫、隨機訪問的超大規(guī)模數(shù)據(jù)集是，可以使用HBase。
為什么需要HBase
# 海量數(shù)據(jù)存儲一個表百億行 百萬列;(MySQL實戰(zhàn)最大值500萬行，30列) # 實時查詢1秒內(nèi)查詢得到結(jié)果。HBase特點
# 1. 容量大HBase單表百億行，百萬列。 # 2. 面向列HBase存儲是面向列，可以再數(shù)據(jù)存在以后動態(tài)增加新列和數(shù)據(jù)，并支持列數(shù)據(jù)的獨立操作。 # 3. 多版本HBase每個數(shù)據(jù)，可以同時保存多個版本，按照時間去標(biāo)記。 # 4. 稀疏性HBase每條數(shù)據(jù)的增刪，并不是要操作所有的列，的列可以動態(tài)增加，可以存在大量空白單元格，不會占用磁盤空間，這對于海量數(shù)據(jù)來講，非常重要。 # 5. 擴展性底層使用HDFS，存儲能力可以橫向擴展。 # 6. 高可靠性底層使用HDFS，擁有replication的數(shù)據(jù)高可靠性。 # 7. 高性能表數(shù)據(jù)達到一定規(guī)模，"自動分區(qū)"，具備主鍵索引，緩存機制，使得HBase海量數(shù)據(jù)查詢能達到毫秒級。HBase和RDBMS對比
| 數(shù)據(jù)庫以**region**的形式存在 | 數(shù)據(jù)庫以Table的形式存在 |
| 使用**行鍵**（row key） | 支持主鍵PK |
| 使用行表示一條數(shù)據(jù) | 一條數(shù)據(jù)用row代表 |
| 使用列 column、列族 column family | column代表列數(shù)據(jù)的含義 |
| 使用HBase shell命令操作數(shù)據(jù) | 使用SQL操作數(shù)據(jù) |
| 數(shù)據(jù)文件可以基于HDFS，是分布式文件系統(tǒng)， 可以任意擴展，數(shù)據(jù)總量取決于服務(wù)器數(shù)量 | 數(shù)據(jù)總量依賴于單體服務(wù)器的配置 |
| 不支持事務(wù)、不支持ACID | 支持事務(wù)和ACID |
| 不支持表連接 | 支持join表連接 |
HBase表邏輯結(jié)構(gòu)
數(shù)據(jù)相關(guān)概念
# namespace 命名空間hbase管理表的結(jié)構(gòu)，在HDFS中對應(yīng)一個文件夾。 # table 表hbase管理數(shù)據(jù)的結(jié)構(gòu)，在HDFS中對應(yīng)一個文件。 # column family 列族表中數(shù)據(jù)的列，要屬于某個列族，所有的列的訪問格式(列族:列名) # rowkey 主鍵用來標(biāo)記和檢索數(shù)據(jù)的主鍵key。 # cell 單元格由`row key+column family+column+version` 唯一確定的一條數(shù)據(jù) # timestamp 時間戳?xí)r間戳，每個單元格可以保存多個值，每個值有對應(yīng)的時間戳，每個cell中，不同版本的數(shù)據(jù)倒敘排序，排在最前面的是最新數(shù)據(jù)。HBase單機版安裝
下載
地址：http://archive.apache.org/dist/hbase/
準(zhǔn)備
安裝
# 1. 安裝hbase 1. 解壓HBase[root@hadoop30 modules]# tar zxvf hbase-1.2.4-bin.tar.gz -C /opt/installs/ 2. 配置環(huán)境變量#JAVAexport JAVA_HOME=/opt/installs/jdk1.8export PATH=$PATH:$JAVA_HOME/bin# HADOOPexport HADOOP_HOME=/opt/installs/hadoop2.9.2/export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# zookeeperexport PATH=$PATH:/opt/installs/zookeeper3.4.14/bin/# HBaseexport HBASE_HOME=/opt/installs/hbase-1.2.4/export PATH=$PATH:$HBASE_HOME/bin 3. 加載profile配置source /etc/profile # 2. 初始化配置文件 # 1 -------------------hbase-env.sh--------------------# 配置Java_home export JAVA_HOME=/opt/installs/jdk1.8# 注釋掉如下2行。 # export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m" # export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m"# 禁用內(nèi)置zookeeper export HBASE_MANAGES_ZK=false # 2. -------------------hbase-site.xml------------------------- <configuration><!-- hbase的入口，ns HaHadoop的虛擬命名空間 --><property><name>hbase.rootdir</name><value>hdfs://hadoop10:9000/hbase</value></property><!-- 使用偽分布式模式 --><property><name>hbase.cluster.distributed</name><value>true</value></property><!-- zookeeper集群地址，端口默認(rèn)2181不需要指定 --><property><name>hbase.zookeeper.quorum</name><value>hadoop10</value></property></configuration> # -------------------配置regionservers（regionserver所在節(jié)點的ip） ------------------- hadoop10 # 3. 啟動hbase 啟動順序： 1. 啟動zookeeper 2. 啟動hdfs 3. 啟動hbase關(guān)閉順序: 1.關(guān)閉hbase 2.關(guān)閉hdfs 3.關(guān)閉zk # hbase啟動方式一 1. 啟動hbasestart-hbase.sh 2. 關(guān)閉hbasestop-hbase.sh# hbase啟動方式二 1. 啟動HMaster [root@hadoop10 installs]# hbase-daemon.sh start master # 關(guān)閉 [root@hadoop10 installs]# hbase-daemon.sh stop master 2. 啟動HRegionServer [root@hadoop10 installs]# hbase-daemon.sh start regionserver # 關(guān)閉 [root@hadoop10 installs]# hbase-daemon.sh stop master # 4. 驗證訪問 1. java進程查看 [root@hadoop10 installs]# jps 4688 NameNode 5618 HMaster 5730 HRegionServer 4819 DataNode 3509 QuorumPeerMain 6150 Jps 4984 SecondaryNameNode 2. HMaster WebUI查看 http://ip:16010 3. 進入客戶端 hbase shell hbase(main):001:0>HBase 命令
1. 客戶端進出命令
# 進入客戶端：./hbase shell # 退出客戶端命令：quit # 幫助help2. namespace操作
默認(rèn)存在一個default的namespace #1. 查看namespacelist_namespace#2. 創(chuàng)建namespacecreate_namespace "命名空間名字"#3. 刪除namespacedrop_namespace "命令空間名字"3. 表操作
# 1. 查看所有表 hbase(main):024:0> list TABLE baizhins:t_person # namespace:表 t_user # default:表 default被省略了 2 row(s) in 0.1140 seconds# 2. 查看某個namespace下的所有表 hbase(main):027:0> list_namespace_tables "baizhins" TABLE t_person 1 row(s) in 0.3970 seconds# 3. 創(chuàng)建表 語法：create "namespace:表名","列族1","列族2" hbase(main):023:0> create "baizhins:t_person","info","edu" 0 row(s) in 9.9000 seconds# 4. 查看表結(jié)構(gòu) hbase(main):030:0> desc "baizhins:t_person" Table baizhins:t_person is ENABLED baizhins:t_person COLUMN FAMILIES DESCRIPTION {NAME => 'edu', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE',DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE =>'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} {NAME => 'info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE' , DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE = > 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} 2 row(s) in 1.6400 seconds# 5. 刪除表和禁用表 hbase(main):002:0> disable "namespace:表" 0 row(s) in 4.4790 secondshbase(main):002:0> drop "namespace:表" 0 row(s) in 4.4790 seconds4.數(shù)據(jù)增刪改查
# 1. 添加數(shù)據(jù)(每次只能添加一個列)put "namespace:表","rowkey","列族1:列名1","值"hbase(main):007:0> put 'baizhins:t_person','1001','info:name','zhangsan' 0 row(s) in 1.7250 seconds hbase(main):008:0> put 'baizhins:t_person','1001','info:age',20 0 row(s) in 0.0210 seconds hbase(main):009:0> put 'baizhins:t_person','1002','info:name','lisi' 0 row(s) in 0.0190 seconds hbase(main):010:0> put 'baizhins:t_person','1002','info:age',21 0 row(s) in 0.0620 seconds# 2. 根據(jù)rowkey查找數(shù)據(jù)get "namespace:表名","rowkey"hbase(main):015:0> get 'baizhins:t_person','1001' COLUMN CELLinfo:age timestamp=1598752891747, value=20info:name timestamp=1598752881461, value=zhangsan 2 row(s) in 0.1550 seconds# 3. 根據(jù)rowkey和列族查找數(shù)據(jù)get "namespace:表名","rowkey","列族:列"# 4. scan 查詢表中所有數(shù)據(jù)hbase(main):019:0> scan "baizhins:t_person"hbase(main):024:0> scan 'baizhins:t_person' ROW COLUMN+CELL1001 column=info:age, timestamp=1598753486814, value=201001 column=info:name, timestamp=1598753478658, value=zhangsan1002 column=info:age, timestamp=1598753520306, value=211002 column=info:name, timestamp=1598753509800, value=lisi 2 row(s) in 0.0410 seconds# 5. scan 查詢表中前2條數(shù)據(jù)hbase(main):022:0> scan "baizhins:t_person",{LIMIT=>2}# 6. 使用start row 和 end row 范圍查找hbase(main):029:0> scan "baizhins:t_person",{STARTROW=>"1001",STOPROW=>"1003"}hbase(main):032:0> scan 'baizhins:t_person',{STARTROW=>'1001',STOPROW=>'1003'} ROW COLUMN+CELL1001 column=info:age, timestamp=1598753486814, value=201001 column=info:name, timestamp=1598753478658, value=zhangsan1002 column=info:age, timestamp=1598753520306, value=211002 column=info:name, timestamp=1598753509800, value=lisi問題：HBase中的數(shù)據(jù)是按照Rowkey的ASCII字典順序進行全局排序的 假如有5個Rowkey："012", "0", "123", "234", "3"，按ASCII字典排序后的結(jié)果為："0", "012", "123", "234", "3"。 Rowkey排序時會先比對兩個Rowkey的第一個字節(jié)，如果相同，然后會比對第二個字節(jié)，依次類推... 對比到第X個字節(jié)時，已經(jīng)超出了其中一個Rowkey的長度，短的Rowkey排在前面。# 7. 使用start row和limit查找hbase(main):032:0> scan "baizhins:t_person",{STARTROW=>"1002",LIMIT=>2}hbase(main):033:0> scan 'baizhins:t_person',{STARTROW=>'1002',LIMIT=>2} ROW COLUMN+CELL1002 column=info:age, timestamp=1598753520306, value=211002 column=info:name, timestamp=1598753509800, value=lisi1003 column=info:name, timestamp=1598753628840, value=wangwu# 8. 修改數(shù)據(jù)(本質(zhì)上是覆蓋)put "namespace:表","rowkey","列族:列名","值"# 9. 刪除數(shù)據(jù)(刪除某個cell)delete "namespace:表","rowkey","列族:列名"# 10. 刪除某個rowkey對應(yīng)的數(shù)據(jù)deleteall "namespace:表","rowkey"# 11. 統(tǒng)計表中所有數(shù)據(jù)count "namespace:表"# 12. 清空表中的所有數(shù)據(jù)truncate "namespace:表"5. 多版本問題
# 1. 創(chuàng)建表 hbase(main):013:0> create "baizhins:user","info" # 2. 修改版本數(shù) hbase(main):016:0> alter "baizhins:user",{NAME=>'info',VERSIONS=>2}# 表的列族的VERSIONS=>2表示的該列族的數(shù)據(jù)，要保存2個版本。如果put3次，則保留最新的2個版本。# 3. 同一個cell添加2次數(shù)據(jù)。 hbase(main):014:0> put "baizhi:user","10001","info:name","aaa" 0 row(s) in 0.2620 secondshbase(main):015:0> put "baizhi:user","10001","info:name","bb" 0 row(s) in 0.0290 seconds # 4. 查看多版本 hbase(main):017:0> get "baizhi:user","10001",{COLUMN=>'info:name',VERSIONS=>3} COLUMN CELLinfo:name timestamp=1586795010367, value=bbinfo:name timestamp=1586795004085, value=aaa 說明：1. 可以查看VERSIONS指定的版本數(shù)量的值。2. cell中多個版本的值，按照時間戳降序排序。3. 在get或者scan查詢數(shù)據(jù)，并不指定VERSIONS,默認(rèn)讀取的cell中最新的1個的版本的值。HBase API
環(huán)境準(zhǔn)備
-
依賴
<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>1.2.4</version> </dependency><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>1.2.4</version> </dependency> -
初始化配置
將hbase中的conf中的 hbase-site.xml放到resource配置文件目錄中。
conf.addResource("/hbase-site.xml")
-
windows配置ip映射
API介紹
| Configuration | 配置文件 | HBaseConfiguration.create(); |
| Connection | 連接，用來操作數(shù)據(jù) | ConnectionFactory.createConnection(conf); |
| Admin | 客戶端，用來操作元數(shù)據(jù) (namespace和table結(jié)構(gòu)) | conn.getAdmin(); |
| NamespaceDescriptor | 命名空間相當(dāng)于database | NamespaceDescriptor.create(“baizhins”).build(); |
| TableName | 表名 | TableName.valueOf(“baizhi:user”); |
| HTableDescriptor | 表 | new HTableDescriptor(tablename); |
| HColumnDescriptor | 列族 | new HColumnDescriptor(“info”); |
| Put | 添加數(shù)據(jù) | new Put(Bytes.toBytes(“10001”)); |
| Delete | rowkey的刪除條件 | new Delete(Bytes.toBytes(“10001”)); |
| Get | scan多行查詢器 | new Get(Bytes.toBytes(“10019”)); |
| Scan | scan多行查詢器 | new Scan(); |
| Result | 查詢結(jié)果集(單條結(jié)果) | table.get(get); |
| ResultScanner | 查詢結(jié)果集(N條結(jié)果) | table.getScanner(scan); |
| Bytes | 類型轉(zhuǎn)化工具類，HBase中數(shù)據(jù)類型為字節(jié)， 所有類型存入后都變成字節(jié),需要相互轉(zhuǎn)化。 |
HBase客戶端連接
注意：配置windows向linux的ip映射。
// 獲得客戶端 //1. 讀取配置文件 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","hadoop10"); BasicConfigurator.configure();//打印日志信息 //2. 建立連接 Connection conn = ConnectionFactory.createConnection(conf); //3. 獲得客戶端 admin = conn.getAdmin(); // 釋放資源 admin.close();常用API
1. 創(chuàng)建namespace
//1. 構(gòu)建namespace信息。 NamespaceDescriptor baizhins = NamespaceDescriptor.create("baizhins").build(); //2. 創(chuàng)建namespace admin.createNamespace(baizhins);2. 表操作
操作表，使用admin
-
判斷表是否存在
//1. 創(chuàng)建表名 TableName tableName = TableName.valueOf("baizhins:person"); //2. 判斷表是否存在 boolean b = admin.tableExists(tableName); System.out.println(b?"存在":"不存在"); -
創(chuàng)建表
//1. 初始化表名 TableName person = TableName.valueOf("baizhins:person"); //2. 初始化列族信息 HColumnDescriptor info = new HColumnDescriptor("info"); HColumnDescriptor addr = new HColumnDescriptor("addr"); //3. 綁定表名，綁定列族 HTableDescriptor hTableDescriptor = new HTableDescriptor(person); hTableDescriptor.addFamily(info); hTableDescriptor.addFamily(addr); //4. 創(chuàng)建表 admin.createTable(hTableDescriptor);
3. 添加
操作數(shù)據(jù)使用conn
//1. 初始化要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 創(chuàng)建 添加數(shù)據(jù) Put put = new Put(Bytes.toBytes("1001"));//構(gòu)造rowkey // Bytes是HBase提供的進行字節(jié)和java數(shù)據(jù)類型轉(zhuǎn)化的工具類 put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("張三") ); put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"), Bytes.toBytes(18)); put.addColumn(Bytes.toBytes("addr"), Bytes.toBytes("zipCode"), Bytes.toBytes("45000")); //3. 將put數(shù)據(jù)添加。 table.put(put); //4. 釋放資源 table.close();4. 修改
//1. 初始化要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 修改的本質(zhì)就是添加，利用時間戳覆蓋舊的數(shù)據(jù)而已。 Put put = new Put(Bytes.toBytes("1001")); put.addColumn(Bytes.toBytes("addr"), Bytes.toBytes("zipCode"), Bytes.toBytes("45001")); //3. 添加到表中 table.put(put); //4. 關(guān)閉table table.close();5. 刪除
//1. 獲得要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 創(chuàng)建要刪除的條件，以rowkey為條件 Delete delete = new Delete(Bytes.toBytes("1001"));//刪除某個列族 //delete.addFamily(Bytes.toBytes("cf2")); //刪除某個列 //delete.addColumn(Bytes.toBytes("cf1"),Bytes.toBytes("age"));//3. 執(zhí)行刪除 table.delete(delete);6. 查詢
-
根據(jù)rowkey單條查詢。
//1. 獲得要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 使用rowkey作為查詢條件 Get get = new Get(Bytes.toBytes("10019")); //3. 執(zhí)行查詢 Result result = table.get(get); //4. 處理結(jié)果集：result.getValue; byte[] namebyte = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("name")); //下面代碼雷同。 byte[] agebyte = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("age")); byte[] zipbyte = result.getValue(Bytes.toBytes("addr"), Bytes.toBytes("zipCode")); //獲得rowkey byte[] rowbytes = result.getRow(); System.out.println(Bytes.toString(namebyte)); System.out.println(Bytes.toInt(agebyte)); System.out.println(Bytes.toString(zipbyte)); -
多條查詢
//1. 獲得要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 創(chuàng)建scan掃描器，多行查詢 Scan scan = new Scan(); //3. 指定要投射的列族。 scan.addFamily(Bytes.toBytes("info")); scan.addFamily(Bytes.toBytes("addr")); //4. 設(shè)置起始和查詢條數(shù) scan.setStartRow(Bytes.toBytes("1001")); scan.setFilter(new PageFilter(3)); //5. 執(zhí)行查詢 ResultScanner result = table.getScanner(scan); //6. 處理結(jié)果集 for (Result res:result){byte[] namebyte = res.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"));byte[] agebyte = res.getValue(Bytes.toBytes("info"), Bytes.toBytes("age"));byte[] zipCodebyte = res.getValue(Bytes.toBytes("addr"), Bytes.toBytes("zipCode"));String name = Bytes.toString(namebyte);int age = Bytes.toInt(agebyte);String zipcode = Bytes.toString(zipCodebyte);System.out.println(name+":"+age+":"+zipcode); } //7. 關(guān)閉table table.close();
-
范圍查詢
//1. 獲得要操作的表 Table table = conn.getTable(TableName.valueOf("baizhins:person")); //2. 創(chuàng)建scan掃描器，多行查詢 Scan scan = new Scan(); //3. 指定要投射的列族。 scan.addFamily(Bytes.toBytes("info")); scan.addFamily(Bytes.toBytes("addr")); //4. 設(shè)置起始和查詢條數(shù) scan.setStartRow(Bytes.toBytes("1001")); scan.setStopRow(Bytes.toBytes("1003")); //5. 執(zhí)行查詢 ResultScanner result = table.getScanner(scan); //6. 處理結(jié)果集 for (Result res:result){byte[] namebyte = res.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"));byte[] agebyte = res.getValue(Bytes.toBytes("info"), Bytes.toBytes("age"));byte[] zipCodebyte = res.getValue(Bytes.toBytes("addr"), Bytes.toBytes("zipCode"));String name = Bytes.toString(namebyte);int age = Bytes.toInt(agebyte);String zipcode = Bytes.toString(zipCodebyte);System.out.println(name+":"+age+":"+zipcode); } //7. 關(guān)閉table table.close(); -
前綴查詢
Scan scan = new Scan(); Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator("a-")); scan.setFilter(filter);ResultScanner results = table.getScanner(scan);for (Result result : results) {byte[] nameByte = result.getValue(Bytes.toBytes("cf1"),Bytes.toBytes("name"));byte[] ageByte = result.getValue(Bytes.toBytes("cf1"),Bytes.toBytes("age"));System.out.println(Bytes.toString(nameByte) + "\t" + Bytes.toString(ageByte)); } table.close(); -
多版本查詢
Get get = new Get(Bytes.toBytes("1001")); //可以指定查詢某一個列 get.addColumn(Bytes.toBytes("cf1"),Bytes.toBytes("name")); get.setMaxVersions(5); Result result = table.get(get);Cell[] cells = result.rawCells(); for (Cell cell : cells) {System.out.println(Bytes.toString(CellUtil.cloneValue(cell))); }
HBase架構(gòu)原理
讀寫數(shù)據(jù)操作原理
讀數(shù)據(jù)
寫數(shù)據(jù)
HBase底層原理
HBase架構(gòu)體系
架構(gòu)相關(guān)概念
HRegionServer
HRegionServer(和DataNode同一節(jié)點) 1. 存儲表數(shù)據(jù)部分 2. put delete get scan等針對數(shù)據(jù)的操作 3. 定時向Master報告自身節(jié)點的狀態(tài) 4. 管理表的數(shù)據(jù)的Table的數(shù)據(jù)HMaster
HMaster 1. Region Server狀態(tài)的管理 2. 表的管理：create drop alter 3. 實現(xiàn)HRegionServer的數(shù)據(jù)負載均衡，平衡HRegion的分布Zookeeper
Zookeeper 1. 解決HMaster的單點故障問題 2. 存放HMaster管理的HRegionServer的狀態(tài)信息，并通知HMaster 3. 存放HMaster管理的表的元數(shù)據(jù)信息表名、列名、key區(qū)間等。HRegion
HRegion表的橫向切片的物理表現(xiàn),大表的子表,有(startkey endkey)，多行數(shù)據(jù)。為了減小單表操作的大小，提高讀寫效率。Store
Store 1. 表的縱向切分的物理表現(xiàn)，按照列族作為切分。 2. 按照列族查詢，僅需要檢索一定范圍內(nèi)的數(shù)據(jù)，減少全表掃描。HBase底層原理
Region Split 分區(qū)
-
分區(qū)原因
提高Region的負載和讀寫效率。
-
說明
Region一拆為二，并分布在不同的RegionServer上。
-
默認(rèn)分區(qū)機制
Region中數(shù)據(jù)超過128M、512M、1152M… *Region數(shù)量2hbase.hregion.memstore.flush.size … 10G、10G
查看參數(shù)
hbase.hregion.memstore.flush.size=128M hbase.hregion.max.filesize=10G -
問題
默認(rèn)分區(qū)容易導(dǎo)致數(shù)據(jù)傾斜，硬件資源無法利用。(數(shù)據(jù)熱點問題，大量的客戶端訪問，落在部分節(jié)點上，導(dǎo)致忙的忙死，閑的閑死。)
Region預(yù)分區(qū)
-
為什么
- 增加讀寫效率。(多個region分布在不同的RegionServer中，可以提高并發(fā)效率)
- 盡量保證每個Region中的數(shù)據(jù)量相當(dāng)，防止數(shù)據(jù)傾斜。(合理利用計算資源)
-
分區(qū)的效果
每個Region維護一對StartKey和EndKey，限定維護輸入rowkey范圍。
添加數(shù)據(jù)時，將rowkey放入匹配的region中。
-
創(chuàng)建表時分區(qū),手動指定
命令：
create "namespace:表","列族",SPLITS=>["100000","200000","300000","400000"]
效果：(http://ip:16030)訪問RegionServers
-
java代碼分區(qū)
MemStore Flush刷寫
-
說明
簡言：持久化，保護數(shù)據(jù)不丟失。
將RegionServer中內(nèi)存中的數(shù)據(jù)Memstore，寫入到硬盤中。
-
圖
-
時機
- 當(dāng) region server 中 memstore 的總大小達到java_heapsize的閾值，默認(rèn)值 0.4
- 到達自動刷寫的時間，默認(rèn) 1 小時
- 單個Region中的數(shù)據(jù)文件大小超過128M。
-
手動flush
命令：flush "namespace:表名"
-
文件位置：
hdfs:ip:50070/hbase/data/baizhins/user2/faf64f7f6cfa6282c2a92864faa3909d
對應(yīng)參數(shù)：hbase.regionserver.global.memstore.size
對應(yīng)參數(shù)：hbase.regionserver.optionalcacheflushinterval
對應(yīng)參數(shù)：hbase.hregion.memstore.flush.size
Store File Compaction 合并
-
目的
storefile小文件過多，查詢時，需要遍歷所有文件，效率低。
storefile中遍布過期數(shù)據(jù)，占用空間，且查詢效率低。
-
說明
簡言：為提高檢索效率，合并store。
-
圖
-
分類和時機
- minor compact(局部合并)
時機：發(fā)生頻率較高，不影響性能。
手動命令：compact "namespace:表名"
- major compact(全局合并)
時機：每7天執(zhí)行一次:參數(shù)：hbase.hregion.majorcompaction
一般手動觸發(fā)。手動觸發(fā)命令：major_compact "namespace:表名"
rowkey設(shè)計
# rowkey對hbase有什么影響 1. 影響region數(shù)據(jù)分布，負載均衡，不好rowkey設(shè)計，會導(dǎo)致數(shù)據(jù)傾斜，導(dǎo)致數(shù)據(jù)熱點。希望：一段時間內(nèi)，新增數(shù)據(jù)(訪問請求)，盡可能均勻分布到不同的HRegion。 2. 唯一標(biāo)記1條數(shù)據(jù)希望：rowkey唯一性。 3. 為查詢業(yè)務(wù)服務(wù)。希望：rowkey設(shè)計必須滿足查詢業(yè)務(wù)需求為什么HBase數(shù)據(jù)讀取速度快BlockCache
# 1 MemstoreRegion內(nèi)存中特點：(內(nèi)存)(數(shù)據(jù)最新的)(有序) # 2 BlockCache(LRU)HBase緩存中。緩存策略：LRU(數(shù)據(jù)淘汰機制)，最近最少使用原則，保留最近最新使用多的數(shù)據(jù)。 # 3:磁盤storeFile(每個小file中rowkey是有序的) LSM磁盤的檢索速度慢是因為尋道。磁盤合并大storeFile(減少file數(shù)量，可以提高磁盤檢索效率)1. storefile文件數(shù)量少，減少遍歷。2. 文件內(nèi)以及文件在磁盤中，rowkey有序，代碼檢索，磁盤尋道大大節(jié)省時間。HBase架構(gòu)完整版
注意
false
總結(jié)
以上是生活随笔為你收集整理的HBase详细的安装和使用方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ThinkPHP6项目基操（15.实战部
- 下一篇： 【ES6(2015)】Promise