Hadoop-2.8.5的HA集群搭建
一、Hadoop HA 機(jī)制的學(xué)習(xí)
1.1、Hadoop 2.X 的架構(gòu)圖
2.x版本中，HDFS架構(gòu)解決了單點(diǎn)故障問題，即引入雙NameNode架構(gòu)，同時(shí)借助共享存儲(chǔ)系統(tǒng)來進(jìn)行元數(shù)據(jù)的同步，共享存儲(chǔ)系統(tǒng)類型一般有幾類，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上圖中用的是QJM作為共享存儲(chǔ)組件，通過搭建奇數(shù)結(jié)點(diǎn)的JournalNode實(shí)現(xiàn)主備NameNode元數(shù)據(jù)操作信息同步。
1.2、QJM原理
QJM全稱是Quorum Journal Manager, 由JournalNode（JN）組成，一般是奇數(shù)點(diǎn)結(jié)點(diǎn)組成。每個(gè)JournalNode對(duì)外有一個(gè)簡(jiǎn)易的RPC接口，以供NameNode讀寫EditLog到JN本地磁盤。當(dāng)寫EditLog時(shí)，NameNode會(huì)同時(shí)向所有JournalNode并行寫文件，只要有N/2+1結(jié)點(diǎn)寫成功則認(rèn)為此次寫操作成功，遵循Paxos協(xié)議。其內(nèi)部實(shí)現(xiàn)框架如下：
?
?1.3、主備切換機(jī)制
要完成HA，除了元數(shù)據(jù)同步外，還得有一個(gè)完備的主備切換機(jī)制，Hadoop的主備選舉依賴于ZooKeeper。下面是主備切換的狀態(tài)圖：
上面介紹了下關(guān)于HadoopHA機(jī)制，歸納起來主要是兩塊：元數(shù)據(jù)同步和主備選舉。元數(shù)據(jù)同步依賴于QJM共享存儲(chǔ)，主備選舉依賴于ZKFC和Zookeeper。整個(gè)過程還是比較復(fù)雜的，如果能理解Paxos協(xié)議，那也能更好的理解這個(gè)。
詳細(xì)請(qǐng)參考：https://www.cnblogs.com/qcloud1001/p/7693476.html
?
二、hadoop2.8.5 的HA 集群搭建準(zhǔn)備
2.1、集群搭建準(zhǔn)備
這里使用的是： CentOS7.0 VMware Workstation 14 SecureCRT連接工具
Hadoop-2.8.5 jdk-1.8.0_191 zookeeper-3.4.6
apache全系列資源官網(wǎng)下載：http://mirror.bit.edu.cn/apache/
2.2、虛擬機(jī)設(shè)置
打開VMware Workstation 14? 通過ALT+E+N打開虛擬網(wǎng)絡(luò)編輯器
以下1、2、3 需要記錄，需要在虛擬機(jī)中配置
通過cmd也能找到網(wǎng)卡設(shè)置
cmd? >? ?ipconfig??
2.3、虛擬機(jī)設(shè)置
虛擬機(jī)安裝可以參考：?https://www.cnblogs.com/sxdcgaq8080/p/7466529.html
網(wǎng)絡(luò)適配器：NAT
內(nèi)存：512MB~1024MB即可
安裝可以選擇：最小安裝
安裝一臺(tái)虛擬機(jī)即可，其他幾臺(tái)可以使用克隆方法：（其他幾臺(tái)虛擬機(jī)也可以在單機(jī)配置完畢后進(jìn)行復(fù)制）
?
2.4、各虛擬機(jī)設(shè)置
2.4.1 靜態(tài)ip的設(shè)置
2.4.2 主機(jī)名的設(shè)置
2.4.3 hosts設(shè)置
2.4.3 ssh密鑰的設(shè)置
下面進(jìn)行設(shè)置：可以參考我這里的配置
修改靜態(tài)ip
這里的ifcfg-ens33需要根據(jù)個(gè)人虛擬機(jī)的網(wǎng)絡(luò)名
cd /etc/sysconfig/network-scripts ls vi ifcfg-ens33這里修改：ONBOOT=yes,BOOTPROTO=static
添加：IPADDR=192.168.182.135 #參考前面的網(wǎng)卡設(shè)置
? ?NETMASK=255.255.255.0 #參考前面的網(wǎng)卡設(shè)置
GATEWAY=192.168.182.2 #參考前面的網(wǎng)卡設(shè)置
DNS1=8.8.8.8
service network restart
進(jìn)行網(wǎng)絡(luò)重啟后連接測(cè)試(個(gè)人/外網(wǎng))：ping 主機(jī)ip/www.baidu.com
其他三臺(tái)虛擬機(jī)設(shè)置如上，只有ip需要修改
主機(jī)名修改：
hostname node1 su vi /etc/sysconfig/network vi /etc/hostnamereboot
network中添加：NETWORKING=yes
HOSTNAME=node1
hostname中添加：node1
之后重啟：reboot
其他三臺(tái)虛擬機(jī)設(shè)置如上，分別修改主機(jī)名為node2,node3,node4
hosts的設(shè)置：
vi /etc/hostsnode1的修改如下：
其他三臺(tái)虛擬機(jī)設(shè)置如上，沒有變化
ssh密鑰的設(shè)置：
以下命令用于生成ssh鍵值對(duì)，復(fù)制公鑰形成 id_rsa.pub 到authorized_keys 文件中，并提供擁有者具有authorized_keys文件的讀寫權(quán)限。
ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
其他三臺(tái)虛擬機(jī)執(zhí)行以上命令后，需要對(duì)node1進(jìn)行設(shè)置，以后能通過node1免密訪問其他主機(jī)。
通過SecureCRT分別連接4臺(tái)虛擬機(jī)，需要將node1的公鑰發(fā)送到其他主機(jī)進(jìn)行記錄
scp ~/.ssh/id_rsa.pub root@node2:~/.ssh/id_rsa_n1.pub scp ~/.ssh/id_rsa.pub root@node3:~/.ssh/id_rsa_n1.pub scp ~/.ssh/id_rsa.pub root@node4:~/.ssh/id_rsa_n1.pub
發(fā)送完畢后，將id_rsa_n1.pub中的內(nèi)容追加到authorized_keys中
cat ~/.ssh/id_rsa_n1.pub >> ~/.ssh/authorized_keys
三臺(tái)虛擬機(jī)完成上面操作可在node1主機(jī)中進(jìn)行驗(yàn)證
ssh node2 ssh node3正確的設(shè)置下登陸是不需要密碼的，用exit退出登錄
?
?
? 2.5、jdk1.8.0的設(shè)置安裝及hadoop2.8.5的安裝
2.5.1 jdk1.8的安裝
首先卸載原centOS系統(tǒng)中附帶的jdk
通過以下兩個(gè)命令查找系統(tǒng)中的jdk
rpm -qa | grep jdk rpm -qa | grep gcj可能的結(jié)果是：(也有可能有其他的)
libgcj-4.1.2-42.el5?
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
之后通過 yum -y remove <file>命令卸載
yum -y remove java-1.4.2-gcj-compat-1.4.2.0-40jpp.115最后輸入java -version驗(yàn)證虛擬機(jī)中是否還有jdk
?
接下來是安裝的過程
1、通過SecureCRT將linux版本的jdk，hadoop，zookeeper(為了后面的搭建)發(fā)送到虛擬機(jī)上
通過SFTP進(jìn)行發(fā)送
?
? 發(fā)送后的tar.gz文件在~文件夾內(nèi)
?
使用 tar -zxvf <file> 進(jìn)行解壓 之后使用 mv ~/<file> /usr/local/java/ 移動(dòng)到/usr/local目錄下這里我的目錄是在/usr/local下
2、各種環(huán)境的配置
linux的環(huán)境配置在/etc/profile中
vi /etc/profile在文件的最后添加如下的配置（后面的也一并配置了）
? 這里注意各個(gè)軟件的目錄位置
export HADOOP_HOME=/usr/local/hadoop2.8.5 export JAVA_HOME=/usr/local/java/jdk1.8.0 export ZOOKEEPER_HOME=/usr/local/zookeeperexport HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOMEexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH后面使用 source /etc/profile 刷新文件即可
下面進(jìn)行驗(yàn)證：
到這里驗(yàn)證通過就說明安裝成功了。
?三、HA集群搭建的設(shè)置
以上是各node上的分布：
NN：namenode DN：datanode ZK ： zookeeper（QuorumPeerMain）
ZKFC :?DFSZKFailoverController JN : JournalNode RM：ResourceManager
DM：DataNode、NodeManager
以下配置參考hadoop HA 官網(wǎng)配置：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
? 各hadoop文件配置：
cd $HADOOP_HOME ls cd etc/hadoop該目錄下進(jìn)行hadoop的配置(均在configuration標(biāo)簽中配置)：
hadoop-env.sh
修改（JDK的路徑）：export JAVA_HOME=/usr/local/java/jdk1.8.0
添加：export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://mycluster</value> </property> <property><name>ha.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value> </property> <property><name>hadoop.tmp.dir</name><value>/opt/hadoopHA</value> </property> View Codehdfs-site.xml
<property><name>dfs.nameservices</name><value>mycluster</value></property><property><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>node1:8020</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>node2:8020</value></property><property><name>dfs.namenode.http-address.mycluster.nn1</name><value>node1:50070</value></property><property><name>dfs.namenode.http-address.mycluster.nn2</name><value>node2:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://node2:8485;node3:8485;node4:8485/mycluster</value></property><property><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><property><name>dfs.journalnode.edits.dir</name><value>/opt/journal/data</value></property><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property> View Code cp mapred-site.xml.template mapred-site.xml通過這個(gè)創(chuàng)建mapred-site.xml配置
mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value> </property> View Codeyarn-site.xml
<property><name>yarn.resourcemanager.hostname</name><value>node1</value> </property> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> View Code編輯slaves文件，添加以下內(nèi)容
node2 node3 node4 View Code所有配置完成之后，要全部同步到其他幾臺(tái)虛擬機(jī)
scp ./* root@node2:/usr/local/hadoop2.8.5/etc/hadoop/ scp ./* root@node3:/usr/local/hadoop2.8.5/etc/hadoop/ scp ./* root@node4:/usr/local/hadoop2.8.5/etc/hadoop/?
?
對(duì)于zookeeper進(jìn)行配置
cd $ZOOKEEPER_HOME/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg修改：dataDir=/opt/zookeeper #這里指定zookeeper的data數(shù)據(jù)目錄（沒有，需要手動(dòng)創(chuàng)建）
在最后添加：
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
現(xiàn)在保存并去創(chuàng)建zookeeper的data數(shù)據(jù)目錄，在該目錄下
vi myid在該文件中不同zookeeper虛擬機(jī)中配置不同（不能有錯(cuò)），跟zoo.cfg后面配置的server有關(guān)，myid文件中只有1個(gè)數(shù)字即可。
node1:1
node2:2
node3:3
四、集群服務(wù)的啟動(dòng)驗(yàn)證
1、（node1,node2,node3）虛擬機(jī)上的zookeeper啟動(dòng)
cd $ZOOKEEPER_HOME/bin
./zkServer.sh start
啟動(dòng)完成后可通過 ./zkServer.sh status 進(jìn)行查看
2、在node1上進(jìn)行驗(yàn)證
2.1、格式化操作
cd $HADOOP_HOME/bin
zkfc格式化：hdfs zkfc -format
hdfs格式化：hdfs namenode -format
2.2、HA的啟動(dòng)
cd $HADOOP_HOME/sbin
./start-dfs.sh(啟動(dòng)HDFS)
./start-yarn.sh(啟動(dòng)YARN)
2.3、HA的驗(yàn)證
各node主機(jī)的hadoop端口驗(yàn)證
?
?
zookeeper各節(jié)點(diǎn)驗(yàn)證
2.4 、外部網(wǎng)站驗(yàn)證
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/null-/p/10000309.html
總結(jié)
以上是生活随笔為你收集整理的Hadoop-2.8.5的HA集群搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Python的scrapy之爬取顶点小说
- 下一篇： Beamer 目录分栏