java引用hive高可用连接hive_Hiveserver2高可用实现
在生產(chǎn)環(huán)境中使用Hive,強烈建議使用HiveServer2來提供服務(wù),好處有:
在應(yīng)用端不用部署Hadoop和Hive客戶端;
相比hive-cli方式,HiveServer2不用直接將HDFS和Metastore暴漏給用戶;
有安全認證機制,并且支持自定義權(quán)限校驗;
有HA機制,解決應(yīng)用端的并發(fā)和負載均衡問題
JDBC方式,可以使用任何語言,方便與應(yīng)用進行數(shù)據(jù)交互;
從2.0開始,HiveServer2提供了WEB UI。
Hive從0.14開始,使用Zookeeper實現(xiàn)了HiveServer2的HA功能(ZooKeeperService Discovery),Client端可以通過指定一個nameSpace來連接HiveServer2,而不是指定某一個host和port。
1. hive-site.xml添加配置
hive.server2.support.dynamic.service.discovery
true
hive.server2.zookeeper.namespace
hiveserver2_zk
hive.zookeeper.quorum
zkNode1:2181,zkNode2:2181,zkNode3:2181
hive.zookeeper.client.port
2181
hive.server2.thrift.bind.host
0.0.0.0
hive.server2.thrift.port
10001
總結(jié)
以上是生活随笔為你收集整理的java引用hive高可用连接hive_Hiveserver2高可用实现的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 掌上生活是哪个银行的
- 下一篇: java选择排序百度_java选择排序