日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 人文社科 > 生活经验 >内容正文

生活经验

2021年大数据HBase(二):HBase集群安装操作

發布時間:2023/11/28 生活经验 38 豆豆
生活随笔 收集整理的這篇文章主要介紹了 2021年大数据HBase(二):HBase集群安装操作 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

全網最詳細的大數據HBase文章系列,強烈建議收藏加關注!

新文章都已經列出歷史文章目錄,幫助大家回顧前面的知識重點。

目錄

系列歷史文章

前言

HBase集群安裝操作

一、上傳解壓HBase安裝包

二、修改HBase配置文件

1、hbase-env.sh

2、hbase-site.xml

3、配置環境變量

4、復制jar包到lib

5、修改regionservers文件

6、分發安裝包與配置文件

7、啟動HBase

8、驗證HBase是否啟動成功

三、WebUI

?????四、安裝目錄說明

五、參考硬件配置


系列歷史文章

2021年大數據HBase(十七):HBase的360度全面調優

2021年大數據HBase(十六):HBase的協處理器(Coprocessor)

2021年大數據HBase(十五):HBase的Bulk Load批量加載操作

2021年大數據HBase(十四):HBase的原理及其相關的工作機制

2021年大數據HBase(十三):HBase讀取和存儲數據的流程

2021年大數據HBase(十二):Apache Phoenix 二級索引

2021年大數據HBase(十一):Apache Phoenix的視圖操作

2021年大數據HBase(十):Apache Phoenix的基本入門操作

2021年大數據HBase(九):Apache Phoenix的安裝

2021年大數據HBase(八):Apache Phoenix的基本介紹

2021年大數據HBase(七):Hbase的架構!【建議收藏】

2021年大數據HBase(六):HBase的高可用!【建議收藏】

2021年大數據HBase(五):HBase的相關操作-JavaAPI方式!【建議收藏】

2021年大數據HBase(四):HBase的相關操作-客戶端命令式!【建議收藏】

2021年大數據HBase(三):HBase數據模型

2021年大數據HBase(二):HBase集群安裝操作

2021年大數據HBase(一):HBase基本簡介

前言

?2021大數據領域優質創作博客,帶你從入門到精通,該博客每天更新,逐漸完善大數據各個知識體系的文章,幫助大家更高效學習。

有對大數據感興趣的可以關注微信公眾號:三幫大數據

HBase集群安裝操作

一、上傳解壓HBase安裝包

tar -xvzf hbase-2.1.0.tar.gz -C ../server/

二、修改HBase配置文件

1、hbase-env.sh

cd /export/server/hbase-2.1.0/confvim hbase-env.sh#?第28行export JAVA_HOME=/export/server/jdk1.8.0_241/export HBASE_MANAGES_ZK=false

2、hbase-site.xml

vim hbase-site.xml------------------------------hbase.rootdirhdfs://node1.itcast.cn:8020/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumnode1.itcast.cn,node2.itcast.cn,node3.itcast.cnhbase.zookeeper.property.dataDir/export/server/apache-zookeeper-3.6.0-bin/datahbase.unsafe.stream.capability.enforcefalse

3、配置環境變量

#?配置Hbase環境變量vim /etc/profileexport HBASE_HOME=/export/server/hbase-2.1.0export PATH=$PATH:${HBASE_HOME}/bin:${HBASE_HOME}/sbin#加載環境變量source /etc/profile

4、復制jar包到lib

cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

5、修改regionservers文件

cd?/export/server/hbase-2.1.0/confvim regionserversnode1node2node3

6、分發安裝包與配置文件

cd /export/serverscp -r hbase-2.1.0/ node2:$PWDscp -r hbase-2.1.0/ node3:$PWD在node2和node3配置加載環境變量source /etc/profile

7、啟動HBase

cd /export/server#?啟動ZK./start-zk.sh# 啟動hadoopstart-dfs.sh#?啟動hbasestart-hbase.sh

8、驗證HBase是否啟動成功

#?啟動hbase shell客戶端hbase shell# 輸入status[root@node1 ~]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/phoenix-5.0.0-HBase-2.0-client.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/phoenix-5.0.0-HBase-2.0-hive.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/phoenix-5.0.0-HBase-2.0-pig.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/phoenix-5.0.0-HBase-2.0-thin-client.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 2.1.0, re1673bb0bbfea21d6e5dba73e013b09b8b49b89b, Tue Jul 10 17:26:48 CST 2018
Took 0.0042 seconds                                                                                                                                                                                                    
hbase(main):001:0> status
1 active master, 0 backup masters, 3 servers, 0 dead, 21.3333 average load
Took 0.7734 seconds                                                                                                                                                                                                    
hbase(main):002:0>

三、WebUI

http://node1:16010/master-status


????????????四、安裝目錄說明

目錄名

說明

bin

所有hbase相關的命令都在該目錄存放

conf

所有的hbase配置文件

hbase-webapps

hbase的web ui程序位置

lib

hbase依賴的java庫

logs

hbase的日志文件

???????五、參考硬件配置

針對大概800TB存儲空間的集群中每個Java進程的典型內存配置:

進程

描述

NameNode

8?GB

每100TB數據或每100W個文件大約占用NameNode堆1GB的內存

SecondaryNameNode

8GB

在內存中重做主NameNode的EditLog,因此配置需要與NameNode一樣

DataNode

1GB

適度即可

ResourceManager

4GB

適度即可(注意此處是MapReduce的推薦配置)

NodeManager

2GB

適當即可(注意此處是MapReduce的推薦配置)

HBase HMaster

4GB

輕量級負載,適當即可

HBase RegionServer

12GB

大部分可用內存、同時為操作系統緩存、任務進程留下足夠的空間

ZooKeeper

1GB

適度

推薦:

  • Master機器要運行NameNode、ResourceManager、以及HBase HMaster,推薦24GB左右
  • Slave機器需要運行DataNode、NodeManager和HBase RegionServer,推薦24GB(及以上)
  • 根據CPU的核數來選擇在某個節點上運行的進程數,例如:兩個4核CPU=8核,每個Java進程都可以獨立占有一個核(推薦:8核CPU)
  • 內存不是越多越好,在使用過程中會產生較多碎片,Java堆內存越大, 會導致整理內存需要耗費的時間越大。例如:給RegionServer的堆內存設置為64GB就不是很好的選擇,一旦FullGC就會造成較長時間的等待,而等待較長,Master可能就認為該節點已經掛了,然后移除掉該節點

  • 📢博客主頁:https://lansonli.blog.csdn.net
  • 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
  • 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
  • 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据HBase(二):HBase集群安装操作的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。