2019獨角獸企業重金招聘Python工程師標準>>>

? ? 有段時間沒更新博客了，趁著最近有點時間，來完成之前關于集群部署方面的知識。今天主要講一講Zookeeper+Hadoop+Hbase分布式集群的搭建，在我前幾篇的集群搭建的博客中已經分別講過了Zookeeper和Hadoop的集群搭建：

????集群四部曲（一）：完美的Zookeeper集群搭建

????集群四部曲（二）：完美的Hadoop集群搭建

，剩下的就只有Hbase集群了，下面就來說一下基于Zookeeper和Hadoop的Hbase分布式集群的搭建。

? ? 一、環境：同樣的啟用三個節點，分別是虛擬機slave01，slave02，slave03，基于之前已經搭建好的環境，包括JDK、Zookeeper、Hadoop

? ? 二、Hbase配置（自己解壓哈）

? ? 配置前，著重說一下：版本匹配問題，若出現不匹配的情況，后面啟動會失敗，關于版本匹配大家可以參考該鏈接內容：

????https://blog.csdn.net/anningzhu/article/details/60468723

? ? 接下來了解一下HMaster、HRegionServer，這里準備將slave01作為HMaster，slave02、slave03作為HRegionServer，下面的操作都是以這個為前提展開的，請大家做好戰前溫習，以防不知下面的操作的意義，開始配置吧：

????關閉防火墻，大家切記：

systemctl stop firewalld #只在本次運用時生效，下次開啟機器時需重復此操作 或 systemctl disable firewalld #此命令在下次重啟時生效，將永久關閉防火墻

????（1）將Hbase添加到環境變量中

vim /etc/profile

? ? 添加HBASE_HOME，修改如下：

JAVA_HOME=/usr/java/jdk1.8.0_161 JRE_HOME=/usr/java/jdk1.8.0_161/jre SCALA_HOME=/usr/local/scala HADOOP_HOME=/usr/local/hadoop SPARK_HOME=/usr/local/spark ZOOKEEPER_HOME=/usr/local/zookeeper HBASE_HOME=/usr/local/hbase KAFKA_HOME=/usr/local/kafka PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$KAFKA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME JRE_HOME SCALA_HOME HADOOP_HOME SPARK_HOME ZOOKEEPER_HOME HBASE_HOME KAFKA_HOME PATH CLASSPATH

? ? 使文件生效，運行命令：

source /etc/profile

? ? （2）修改HBase目錄conf下配置文件hbase-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_161/ export HBASE_PID_DIR=/usr/local/hbase/pid/ export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop/ export HBASE_MANAGES_ZK=false

? ? 其中，pid自己手動在HBase目錄下新建，ZK=false表示不使用自身的Zookeeper。

? ? （3）修改HBase目錄conf下配置文件hbase-site.xml：

<configuration><property><name>hbase.root.dir</name><value>hdfs://slave01:9000/hbase</value><description>設置 hbase 數據庫存放數據的目錄</description></property><property><name>hbase.cluster.distributed</name><value>true</value><description>打開 hbase 分布模式</description></property><property><name>hbase.master</name><value>slave01</value><description>指定 hbase 集群主控節點</description></property><property><name>hbase.tmp.dir</name><value>/usr/tmp/hbase</value><description>hbase的一些臨時文件存放目錄。</description></property><property><name>hbase.zookeeper.quorum</name><value>slave01,slave02,slave03</value><description> 指定 zookeeper 集群節點名</description></property><property><name>zookeeper.session.timeout</name><value>60000000</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value><description> 連接到zookeeper的端口，默認是2181</description></property> </configuration>

? ? 其中，hbase.root.dir注意和Hadoop保持一致。

? ? （4）修改HBase目錄conf下配置文件regionservers：

slave02 slave03

? ? 添加的是作為datanode的節點。

? ? （5）拷貝配置文件到其他服務器

????若不想一個一個的進行文件配置，可以將已經配置好的文件拷貝到其他需要的服務器上，注意拷貝成功后執行命令：source /etc/profile使之生效：

//slave01上的/etc/profile文件拷貝到slave02 scp -r /etc/profile slave02:/etc/profile //slave01上的/usr/local/hadoop文件夾整個目錄拷貝到slave02 scp -r /usr/local/hbase slave02:/usr/local/

? ? 節點slave03同上。以上配置即初步完成了HBase的配置，下面是啟動驗證的時候了，在這之前，最好重啟虛擬機，保證所有的配置生效，切記，重啟后先關閉防火墻，w(ﾟДﾟ)w。

? ? 三、啟動HBase集群并驗證

? ? 因為我們使用的是Zookeeper+Hadoop+HBase，所以啟動前，先要啟動Zookeeper和Hadoop，分別依次啟動Zookeeper和Hadoop，保證正常啟動，請參考之前的博客。正常啟動后如下：

[hadoop@slave01 sbin]$ jps 2880 QuorumPeerMain 3656 ResourceManager 3945 Jps 3449 SecondaryNameNode 3213 NameNode [hadoop@slave02 bin]$ jps 3079 Jps 3018 NodeManager 2876 DataNode 2687 QuorumPeerMain [hadoop@slave03 bin]$ jps 2644 QuorumPeerMain 3066 Jps 2938 NodeManager 2794 DataNode

? ? 接下來啟動HBase，如下：

[hadoop@slave01 bin]$ ./start-hbase.sh SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] running master, logging to /usr/local/hbase/logs/hbase-hadoop-master-slave01.out slave02: running regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-regionserver-slave02.out slave03: running regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-regionserver-slave03.out

? ? 顯示多出的進程為HMaster：

[hadoop@slave01 sbin]$ jps 2880 QuorumPeerMain 4387 HMaster 4518 Jps 3656 ResourceManager 3449 SecondaryNameNode 3213 NameNode

? ? 節點slave02和slave03多出的進程為HRegionServer：

[hadoop@slave02 bin]$ jps 3424 HRegionServer 3018 NodeManager 2876 DataNode 3485 Jps 2687 QuorumPeerMain

? ? 好了，上面關于HBase集群已經成功啟動了。

? ? 四、查看hbase管理界面? ?

? ? 訪問 slave01:16010，如下：

? ? 點擊上圖Region Servers中的節點slave02或者slave03即可查看其對應信息：

????通過上面我們可以查看hbase相關信息，非常實用。

? ? 好了，關于這方面的配置已經結束了，下篇將說下HBase數據庫的相關知識，敬請期待！

轉載于:https://my.oschina.net/u/3747963/blog/1831923

總結

以上是生活随笔為你收集整理的Zookeeper3.4.11+Hadoop2.7.6+Hbase2.0.0搭建分布式集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。