Hadoop2.x环境搭建
? ??在這里我們選用4臺(tái)機(jī)器進(jìn)行示范，各臺(tái)機(jī)器的職責(zé)如下表格所示
| ? | hadoop0 | hadoop1 | hadoop2 | hadoop3 |
| 是NameNode嗎? | 是，屬集群cluster1 | 是，屬集群cluster1 | 是，屬集群cluster2 | 是，屬集群cluster2 |
| 是DataNode嗎？ | 否 | 是 | 是 | 是 |
| 是JournalNode嗎？ | 是 | 是 | 是 | 否 |
| 是ZooKeeper嗎？ | 是 | 是 | 是 | 否 |
| 是ZKFC嗎? | 是 | 是 | 是 | 是 |
?
?
?
1.?? 搭建自動(dòng)HA
1.1. 復(fù)制編譯后的hadoop項(xiàng)目到/usr/local目錄下
1.2. 修改位于etc/hadoop目錄下的配置文件
1.2.1.????? hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
1.2.2.????? core-site.xml
?
<configuration>
<property>
? <name>fs.defaultFS</name>
? <value>hdfs://cluster1</value>
</property>
【這里的值指的是默認(rèn)的HDFS路徑。當(dāng)有多個(gè)HDFS集群同時(shí)工作時(shí)，用戶如果不寫集群名稱，那么默認(rèn)使用哪個(gè)哪？在這里指定！該值來(lái)自于hdfs-site.xml中的配置。在節(jié)點(diǎn)hadoop0和hadoop1中使用cluster1，在節(jié)點(diǎn)hadoop2和hadoop3中使用cluster2】
<property>
? <name>hadoop.tmp.dir</name>
? <value>/usr/local/hadoop/tmp</value>
</property>
【這里的路徑默認(rèn)是NameNode、DataNode、JournalNode等存放數(shù)據(jù)的公共目錄。用戶也可以自己?jiǎn)为?dú)指定這三類節(jié)點(diǎn)的目錄。】
<property>
? <name>ha.zookeeper.quorum</name>
? <value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
</property>
【這里是ZooKeeper集群的地址和端口。注意，數(shù)量一定是奇數(shù)，且不少于三個(gè)節(jié)點(diǎn)】
</configuration>
1.2.3.????? hdfs-site.xml??
該文件只配置在hadoop0和hadoop1上。
<configuration>
??? <property>
??????? <name>dfs.replication</name>
??????? <value>2</value>
??? </property>
【指定DataNode存儲(chǔ)block的副本數(shù)量。默認(rèn)值是3個(gè)，我們現(xiàn)在有4個(gè)DataNode，該值不大于4即可?！?br /> ??? <property>
??????? <name>dfs.nameservices</name>
??????? <value>cluster1,cluster2</value>
??? </property>
【使用federation時(shí)，使用了2個(gè)HDFS集群。這里抽象出兩個(gè)NameService實(shí)際上就是給這2個(gè)HDFS集群起了個(gè)別名。名字可以隨便起，相互不重復(fù)即可】
??? <property>
??????? <name>dfs.ha.namenodes.cluster1</name>
??????? <value>hadoop0,hadoop1</value>
??? </property>
【指定NameService是cluster1時(shí)的namenode有哪些，這里的值也是邏輯名稱，名字隨便起，相互不重復(fù)即可】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
??????? <value>hadoop0:9000</value>
??? </property>
【指定hadoop0的RPC地址】
??? <property>
??????? <name>dfs.namenode.http-address.cluster1.hadoop0</name>
??????? <value>hadoop0:50070</value>
??? </property>
【指定hadoop0的http地址】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
??????? <value>hadoop1:9000</value>
??? </property>
【指定hadoop1的RPC地址】
<property>
??????? <name>dfs.namenode.http-address.cluster1.hadoop1</name>
??????? <value>hadoop1:50070</value>
??? </property>
【指定hadoop1的http地址】
??? <property>
??????? <name>dfs.namenode.shared.edits.dir</name>
? <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
??? </property>
【指定cluster1的兩個(gè)NameNode共享edits文件目錄時(shí)，使用的JournalNode集群信息】
<property>
??????? <name>dfs.ha.automatic-failover.enabled.cluster1</name>
??????? <value>true</value>
??? </property>
【指定cluster1是否啟動(dòng)自動(dòng)故障恢復(fù)，即當(dāng)NameNode出故障時(shí)，是否自動(dòng)切換到另一臺(tái)NameNode】
<property>
??????? <name>dfs.client.failover.proxy.provider.cluster1</name>
???? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
??? </property>
【指定cluster1出故障時(shí)，哪個(gè)實(shí)現(xiàn)類負(fù)責(zé)執(zhí)行故障切換】
?
?
?
??? <property>
??????? <name>dfs.ha.namenodes.cluster2</name>
??????? <value>hadoop2,hadoop3</value>
?? ?</property>
【指定NameService是cluster2時(shí)，兩個(gè)NameNode是誰(shuí)，這里是邏輯名稱，不重復(fù)即可。以下配置與cluster1幾乎全部相似，不再添加注釋】
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster2.hadoop2</name>
??????? <value>hadoop2:9000</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.http-address.cluster2.hadoop2</name>
??????? <value>hadoop2:50070</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.rpc-address.cluster2.hadoop3</name>
??????? <value>hadoop3:9000</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.http-address.cluster2.hadoop3</name>
??????? <value>hadoop3:50070</value>
??? </property>
??? <!--
??? <property>
??????? <name>dfs.namenode.shared.edits.dir</name>
??????? <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
??? </property>
【這段代碼是注釋掉的，不要打開】
??? -->
<property>
??????? <name>dfs.ha.automatic-failover.enabled.cluster2</name>
??????? <value>true</value>
??? </property>
<property>
??????? <name>dfs.client.failover.proxy.provider.cluster2</name>
??????? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
?
?
<property>
??????? <name>dfs.journalnode.edits.dir</name>
??????? <value>/usr/local/hadoop/tmp/journal</value>
</property>
【指定JournalNode集群在對(duì)NameNode的目錄進(jìn)行共享時(shí)，自己存儲(chǔ)數(shù)據(jù)的磁盤路徑】
<property>
??????? <name>dfs.ha.fencing.methods</name>
??????? <value>sshfence</value>
??? </property>
【一旦需要NameNode切換，使用ssh方式進(jìn)行操作】
??? <property>
??????? <name>dfs.ha.fencing.ssh.private-key-files</name>
??????? <value>/root/.ssh/id_rsa</value>
??? </property>
【如果使用ssh進(jìn)行故障切換，使用ssh通信時(shí)用的密鑰存儲(chǔ)的位置】
</configuration>
?
1.2.4.????? slaves
hadoop1
hadoop2
hadoop2
1.3. 把以上配置的內(nèi)容復(fù)制到hadoop1、hadoop2、hadoop3節(jié)點(diǎn)上
1.4. 修改hadoop1、hadoop2、hadoop3上的配置文件內(nèi)容
1.4.1.????? 修改hadoop2上的core-site.xml內(nèi)容
fs.defaultFS的值改為hdfs://cluster2
1.4.2.????? 修改hadoop2上的hdfs-site.xml內(nèi)容
把cluster1中關(guān)于journalnode的配置項(xiàng)刪除，增加如下內(nèi)容
<property>
??? <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
</property>
1.4.3.????? 開始啟動(dòng)
1.4.3.1.??? 啟動(dòng)journalnode
在hadoop0、hadoop1、hadoop2上執(zhí)行sbin/hadoop-daemon.sh start journalnode
1.4.3.2.??? 格式化ZooKeeper
在hadoop0、hadoop2上執(zhí)行bin/hdfs? zkfc? -formatZK
1.4.3.3.??? 對(duì)hadoop0節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)
bin/hdfs? namenode? -format
sbin/hadoop-daemon.sh? start? namenode
1.4.3.4.??? 對(duì)hadoop1節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)?
bin/hdfs? namenode? -bootstrapStandby
sbin/hadoop-daemon.sh? start? namenode
1.4.3.5.??? 在hadoop0、hadoop1上啟動(dòng)zkfc
sbin/hadoop-daemon.sh?? start?? zkfc
我們的hadoop0、hadoop1有一個(gè)節(jié)點(diǎn)就會(huì)變?yōu)閍ctive狀態(tài)。
1.4.3.6.??? 對(duì)于cluster2執(zhí)行類似操作
1.4.4.????? 啟動(dòng)datanode
在hadoop0上執(zhí)行命令sbin/hadoop-daemons.sh?? start?? datanode
1.5. 配置Yarn
1.5.1.????? 修改文件mapred-site.xml
<property>
? <name>mapreduce.framework.name</name>
? <value>yarn</value>
</property>
1.5.2.????? ?修改文件yarn-site.xml
<property>
??? <name>yarn.resourcemanager.hostname</name>
??? <value>hadoop0</value>
?</property>??
【自定ResourceManager的地址，還是單點(diǎn)，這是隱患】
<property>
??? <name>yarn.nodemanager.aux-services</name>
??? <value>mapreduce_shuffle</value>
?</property>
?
1.5.3.????? 啟動(dòng)yarn
在hadoop0上執(zhí)行sbin/start-yarn.sh ? ? ? ? ?
轉(zhuǎn)載于:https://www.cnblogs.com/litaiqing/p/4847714.html
總結(jié)
以上是生活随笔為你收集整理的Hadoop2.x环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： XP下，文件夹添加右键命令行
- 下一篇： 你真的了解load方法么？（转载）