? ??在這里我們選用4臺機器進行示范，各臺機器的職責如下表格所示

?	hadoop0	hadoop1	hadoop2	hadoop3
是NameNode嗎?	是，屬集群cluster1	是，屬集群cluster1	是，屬集群cluster2	是，屬集群cluster2
是DataNode嗎？	否	是	是	是
是JournalNode嗎？	是	是	是	否
是ZooKeeper嗎？	是	是	是	否
是ZKFC嗎?	是	是	是	是

?

?

?

1.?? 搭建自動HA

1.1. 復制編譯后的hadoop項目到/usr/local目錄下

1.2. 修改位于etc/hadoop目錄下的配置文件

1.2.1.????? hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

1.2.2.????? core-site.xml

?

<configuration>
<property>
? <name>fs.defaultFS</name>
? <value>hdfs://cluster1</value>
</property>

【這里的值指的是默認的HDFS路徑。當有多個HDFS集群同時工作時，用戶如果不寫集群名稱，那么默認使用哪個哪？在這里指定！該值來自于hdfs-site.xml中的配置。在節點hadoop0和hadoop1中使用cluster1，在節點hadoop2和hadoop3中使用cluster2】
<property>
? <name>hadoop.tmp.dir</name>
? <value>/usr/local/hadoop/tmp</value>
</property>

【這里的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。】
<property>
? <name>ha.zookeeper.quorum</name>
? <value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
</property>

【這里是ZooKeeper集群的地址和端口。注意，數量一定是奇數，且不少于三個節點】
</configuration>

1.2.3.????? hdfs-site.xml??

該文件只配置在hadoop0和hadoop1上。

<configuration>
??? <property>
??????? <name>dfs.replication</name>
??????? <value>2</value>
??? </property>

【指定DataNode存儲block的副本數量。默認值是3個，我們現在有4個DataNode，該值不大于4即可。】
??? <property>
??????? <name>dfs.nameservices</name>
??????? <value>cluster1,cluster2</value>
??? </property>

【使用federation時，使用了2個HDFS集群。這里抽象出兩個NameService實際上就是給這2個HDFS集群起了個別名。名字可以隨便起，相互不重復即可】
??? <property>
??????? <name>dfs.ha.namenodes.cluster1</name>
??????? <value>hadoop0,hadoop1</value>
??? </property>

【指定NameService是cluster1時的namenode有哪些，這里的值也是邏輯名稱，名字隨便起，相互不重復即可】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
??????? <value>hadoop0:9000</value>
??? </property>

【指定hadoop0的RPC地址】
??? <property>
??????? <name>dfs.namenode.http-address.cluster1.hadoop0</name>
??????? <value>hadoop0:50070</value>
??? </property>

【指定hadoop0的http地址】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
??????? <value>hadoop1:9000</value>
??? </property>

【指定hadoop1的RPC地址】

<property>
??????? <name>dfs.namenode.http-address.cluster1.hadoop1</name>
??????? <value>hadoop1:50070</value>
??? </property>

【指定hadoop1的http地址】
??? <property>
??????? <name>dfs.namenode.shared.edits.dir</name>
? <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
??? </property>
【指定cluster1的兩個NameNode共享edits文件目錄時，使用的JournalNode集群信息】

<property>
??????? <name>dfs.ha.automatic-failover.enabled.cluster1</name>
??????? <value>true</value>
??? </property>
【指定cluster1是否啟動自動故障恢復，即當NameNode出故障時，是否自動切換到另一臺NameNode】

<property>
??????? <name>dfs.client.failover.proxy.provider.cluster1</name>
???? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
??? </property>

【指定cluster1出故障時，哪個實現類負責執行故障切換】

?

?

?

??? <property>
??????? <name>dfs.ha.namenodes.cluster2</name>
??????? <value>hadoop2,hadoop3</value>
?? ?</property>

【指定NameService是cluster2時，兩個NameNode是誰，這里是邏輯名稱，不重復即可。以下配置與cluster1幾乎全部相似，不再添加注釋】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster2.hadoop2</name>
??????? <value>hadoop2:9000</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.http-address.cluster2.hadoop2</name>
??????? <value>hadoop2:50070</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster2.hadoop3</name>
??????? <value>hadoop3:9000</value>
??? </property>

??? <property>
??????? <name>dfs.namenode.http-address.cluster2.hadoop3</name>
??????? <value>hadoop3:50070</value>
??? </property>
??? <!--
??? <property>
??????? <name>dfs.namenode.shared.edits.dir</name>
??????? <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
??? </property>

【這段代碼是注釋掉的，不要打開】
??? -->
<property>
??????? <name>dfs.ha.automatic-failover.enabled.cluster2</name>
??????? <value>true</value>
??? </property>
<property>
??????? <name>dfs.client.failover.proxy.provider.cluster2</name>
??????? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

?

?

<property>
??????? <name>dfs.journalnode.edits.dir</name>
??????? <value>/usr/local/hadoop/tmp/journal</value>
</property>

【指定JournalNode集群在對NameNode的目錄進行共享時，自己存儲數據的磁盤路徑】
<property>
??????? <name>dfs.ha.fencing.methods</name>
??????? <value>sshfence</value>
??? </property>

【一旦需要NameNode切換，使用ssh方式進行操作】
??? <property>
??????? <name>dfs.ha.fencing.ssh.private-key-files</name>
??????? <value>/root/.ssh/id_rsa</value>
??? </property>

【如果使用ssh進行故障切換，使用ssh通信時用的密鑰存儲的位置】

</configuration>

?

1.2.4.????? slaves

hadoop1

hadoop2

hadoop2

1.3. 把以上配置的內容復制到hadoop1、hadoop2、hadoop3節點上

1.4. 修改hadoop1、hadoop2、hadoop3上的配置文件內容

1.4.1.????? 修改hadoop2上的core-site.xml內容

fs.defaultFS的值改為hdfs://cluster2

1.4.2.????? 修改hadoop2上的hdfs-site.xml內容

把cluster1中關于journalnode的配置項刪除，增加如下內容

<property>

??? <name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>

</property>

1.4.3.????? 開始啟動

1.4.3.1.??? 啟動journalnode

在hadoop0、hadoop1、hadoop2上執行sbin/hadoop-daemon.sh start journalnode

1.4.3.2.??? 格式化ZooKeeper

在hadoop0、hadoop2上執行bin/hdfs? zkfc? -formatZK

1.4.3.3.??? 對hadoop0節點進行格式化和啟動

bin/hdfs? namenode? -format

sbin/hadoop-daemon.sh? start? namenode

1.4.3.4.??? 對hadoop1節點進行格式化和啟動?

bin/hdfs? namenode? -bootstrapStandby

sbin/hadoop-daemon.sh? start? namenode

1.4.3.5.??? 在hadoop0、hadoop1上啟動zkfc

sbin/hadoop-daemon.sh?? start?? zkfc

我們的hadoop0、hadoop1有一個節點就會變為active狀態。

1.4.3.6.??? 對于cluster2執行類似操作

1.4.4.????? 啟動datanode

在hadoop0上執行命令sbin/hadoop-daemons.sh?? start?? datanode

1.5. 配置Yarn

1.5.1.????? 修改文件mapred-site.xml

<property>
? <name>mapreduce.framework.name</name>
? <value>yarn</value>
</property>

1.5.2.????? ?修改文件yarn-site.xml

<property>
??? <name>yarn.resourcemanager.hostname</name>
??? <value>hadoop0</value>
?</property>??

【自定ResourceManager的地址，還是單點，這是隱患】

<property>
??? <name>yarn.nodemanager.aux-services</name>
??? <value>mapreduce_shuffle</value>
?</property>

?

1.5.3.????? 啟動yarn

在hadoop0上執行sbin/start-yarn.sh ? ? ? ? ?

轉載于:https://www.cnblogs.com/litaiqing/p/4847714.html

總結

以上是生活随笔為你收集整理的Hadoop2.x环境搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。