日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔！

生活随笔

當前位置： 首頁 >

Hadoop HA+Federation 高可用联邦模式搭建指南

發(fā)布時間：2025/3/18 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hadoop HA+Federation 高可用联邦模式搭建指南 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

為什么80%的碼農(nóng)都做不了架構(gòu)師？>>> ??

簡述

Hadoop 集群一共有4種部署模式，詳見《Hadoop 生態(tài)圈介紹》。 HA聯(lián)邦模式解決了單純HA模式的性能瓶頸（主要指Namenode、ResourceManager），將整個HA集群劃分為兩個以上的集群，不同的集群之間通過Federation進行連接，使得HA集群擁有了橫向擴展的能力。理論上，在該模式下，能夠通過增加計算節(jié)點以處理無限增長的數(shù)據(jù)。聯(lián)邦模式下的配置在原HA模式的基礎上做了部分調(diào)整。

所有四種模式的部署指南見：

Hadoop 偽分布式搭建指南

Hadoop 完全分布式搭建指南

Hadoop HA高可用集群模式搭建指南

Hadoop HA+Federation（聯(lián)邦）模式搭建指南

搭建過程

系統(tǒng)環(huán)境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬4臺主機，內(nèi)存都為2G

集群節(jié)點規(guī)劃

IP主機名角色描述集群
192.168.100.201h01.vm.comnamenode-ns1-nn1, zkfc, QuorumPeerMain, resourcemanagerns1
192.168.100.202h02.vm.comnamenode-ns1-nn2, zkfc, QuorumPeerMain, resourcemanager, journalnode,ns1
192.168.100.203h03.vm.comnamenode-ns2-nn3, zkfc, QuorumPeerMain, journalnode, nodemanager, datanodens2
192.168.100.204h04.vm.comnamenode-ns2-nn4, zkfc, journalnode, nodemanager, datanodens2

上表中：

  • QuorumPeerMain 是zookeeper集群的入口進程；
  • zkfc 是 Zookeeper FailoverController 的簡稱，主要用于實現(xiàn)兩個NN之間的容災。
  • resourcemanager 是 yarn 中負責資源協(xié)調(diào)和管理的進程
  • nodemanager 是 yarn 中單個節(jié)點上的代理進程，向 RM 匯報信息，監(jiān)控該節(jié)點資源
  • datanode 是 hdfs 的工作節(jié)點，負責實際的數(shù)據(jù)存儲和任務計算
  • journalnode 是QJM模式下兩個NN節(jié)點同步數(shù)據(jù)的進程，每個HA集群里面的高可用依賴它
  • ns1,ns2 是集群的邏輯名稱
  • nn1,nn2, nn3, nn4 是集群中NN的邏輯名稱

    • zookeeper 節(jié)點需要配置奇數(shù)臺，一般配置3-7臺即可。2000多個節(jié)點的集群也僅需要5-9臺zk；journalnode與zk類似，也是配置奇數(shù)臺，且最少需要3臺，同樣不需要太多；另外zkfc需要在啟動namenode的節(jié)點上也啟動，以保障NN間的心跳機制。

    更新軟件源索引

    • 分別在 h01 h02 h03 h04 操作
    sudo apt-get update

    安裝基礎軟件

    • 分別在 h01 h02 h03 h04 操作
    sudo apt-get install ssh sudo apt-get install rsync

    配置主機域名

    • 分別在 h01 h02 h03 h04 操作
    sudo vim /etc/hostname # centos系統(tǒng)可能沒有該文件，創(chuàng)建即可 h01.vm.com # 該節(jié)點主機名

    將該文件內(nèi)容修改為對應的主機名，例如 h01.vm.com

    域名解析

    • 搭建內(nèi)網(wǎng)DNS服務器（可選，但推薦），可閱讀vincent的博文 http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
    • 配置 /etc/hosts，將以下代碼追加到文件末尾即可（如搭建了DNS服務器，則跳過此步驟）
    • 分別在 h01 h02 h03 h04 操作
    sudo vim /etc/hosts 192.168.100.201 h01.vm.com h01 192.168.100.202 h02.vm.com h02 192.168.100.203 h03.vm.com h03 192.168.100.204 h04.vm.com h04

    !!! Ubuntu系統(tǒng)，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must remove

    不然可能會引起 hadoop、zookeeper 節(jié)點間通信的問題

    時間同步（生產(chǎn)環(huán)境中務必配置）

    在內(nèi)網(wǎng)中搭建 ntp 服務器，可閱讀vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

    準備jdk、hadoop和zookeeper軟件包

    • 須到官方網(wǎng)站下載stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz zookeeper-3.4.8.tar.gz
    • 所有的軟件包都統(tǒng)一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統(tǒng)的用戶名，由于我是使用 vagrant 虛擬的主機，所以默認是 vagrant
    • 在 h01 操作
    # 先在其中一臺機子操作，后面會使用 scp 命令或者其他方法同步到其他主機 mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper

    配置軟連接，方便以后升級版本

    • 在 h01 操作，后面通過 scp 同步到其他主機
    ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default

    配置環(huán)境變量

    • 分別在 h01 h02 h03 h04 操作
    sudo vim /etc/profile export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default export JAVA_HOME=/home/vagrant/VMBigData/java/default export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile

    配置免密碼ssh登錄

    hadoop主節(jié)點需要能遠程登陸集群內(nèi)的所有節(jié)點（包括自己），以執(zhí)行命令。所以需要配置免密碼的ssh登陸?？蛇x的ssh秘鑰對生成方式有rsa和dsa兩種，這里選擇rsa。

    • 分別在 h01 h02 h03 h04 ，即4個主節(jié)點上操作
    ssh-keygen -t rsa -C "youremail@xx.com" # 注意在接下來的命令行交互中，直接按回車跳過輸入密碼
    • 分別在 h01 h02 h03 h04 上操作。以下命令將本節(jié)點的公鑰 id_rsa.pub 文件的內(nèi)容追加到遠程主機的 authorized_keys 文件中（默認位于 ~/.ssh/）
    ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名 ssh-copy-id vagrant@h02.vm.com ssh-copy-id vagrant@h03.vm.com ssh-copy-id vagrant@h04.vm.com
    • 在 h01 h02 h03 h04 上測試無密碼 ssh 登錄到 h01 h02 h03 h04
    ssh h01.vm.com ssh h02.vm.com ssh h03.vm.com ssh h04.vm.com

    !!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，確定無影響時方可覆蓋 !!!

    配置從節(jié)點

    在 slaves 文件中配置的主機即為從節(jié)點，將自動運行datanode, nodemanager服務

    • 在 h01 操作，后面通過 scp 同步到其他主機
    vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves h03.vm.com h04.vm.com

    也可以在不同集群里配置不同的從節(jié)點

    建立存儲數(shù)據(jù)的相應目錄

    • 在 h01 操作，后面通過 scp 同步到其他主機
    mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp mkdir -p /home/vagrant/VMBigData/hadoop/data/journal/data mkdir -p /home/vagrant/VMBigData/hadoop/data/pid mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1 mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2 mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1 mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2 mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

    配置hadoop參數(shù)

    在 h01 操作，后面通過 scp 同步到其他主機

    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
    # export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行 export JAVA_HOME=/home/vagrant/VMBigData/java/default export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default # export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行 export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行 export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
    export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
    <?xml version="1.0" encoding="utf-8"?> # <configuration> # 注意此處的修改 <configuration xmlns:xi="http://www.w3.org/2001/XInclude"><xi:include href="/home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml" /> # 此處引入federation的額外配置文件<property> <!-- 指定hdfs的nameservice名稱，在 cmt.xml 文件中會引用。注意此處的修改 --> <name>fs.defaultFS</name> <value>viewfs://nsX</value> </property> <!-- 指定hadoop數(shù)據(jù)存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> </property><property> <!-- 注意此處將該配置項從 hdfs-site.xml 文件中遷移過來了 --><name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal/data</value> </property><!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> </configuration>
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml
    <?xml version="1.0" encoding="utf-8"?> <configuration><property> <!-- 將 hdfs 的 /view_ns1 目錄掛載到 ns1 的NN下管理，整個federation的不同HA集群也是可以讀寫此目錄的，但是在指定路徑是需要指定完全路徑 --><name>fs.viewfs.mounttable.nsX.link./view_ns1</name> <value>hdfs://ns1</value> </property> <property> <name>fs.viewfs.mounttable.nsX.link./view_ns2</name> <value>hdfs://ns2</value> </property> <property> <!-- 指定 /tmp 目錄，許多依賴hdfs的組件可能會用到此目錄 --><name>fs.viewfs.mounttable.nsX.link./tmp</name> <value>hdfs://ns1/tmp</value> </property> </configuration>
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
    <?xml version="1.0" encoding="utf-8"?> <!-- HDFS-HA 配置 --> <configuration> <property> <!-- 因為集群規(guī)劃中只配置了2各datanode節(jié)點，所以此處只能設置小于2，因為hadoop默認不允許將不同的副本存放到相同的節(jié)點上 --> <name>dfs.replication</name> <value>2</value> </property> <property> <!-- 白名單：僅允許以下datanode連接到NN，一行一個，也可以指定一個文件 --><name>dfs.hosts</name> <value><!-- ~/VMBigData/hadoop/default/etc/hadoop/hosts.allow -->h01.vm.comh02.vm.comh03.vm.comh04.vm.com</value> </property> <property> <!-- 黑名單：不允許以下datanode連接到NN，一行一個，也可以指定一個文件 --><name>dfs.hosts.exclude</name> <value></value> </property> <property> <!-- 集群的命名空間、邏輯名稱，可配置多個，但是與 cmt.xml 配置對應 --><name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <!-- 命名空間中所有NameNode的唯一標示。該標識指示集群中有哪些NameNode。目前單個集群最多只能配置兩個NameNode --> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>h01.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>h01.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>h02.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>h02.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>h03.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>h03.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>h04.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>h04.vm.com:50070</value> </property> <property> <!-- JournalNode URLs，ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir --> <name>dfs.namenode.shared.edits.dir</name> <!-- 注意此處的ns1，當配置文件所在節(jié)點處于ns1集群時，此處為ns1，當處于ns2集群時，此處為ns2 --> <value>qjournal://h02.vm.com:8485;h03.vm.com:8485;h04.vm.com:8485/ns1</value> </property> <!-- JournalNode 用于存放 editlog 和其他狀態(tài)信息的目錄 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 一種關于 NameNode 的隔離機制(fencing) --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfenceshell(/bin/true)</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/vagrant/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property> <property> <name>dfs.namenode.name.dir</name> <!-- 創(chuàng)建的namenode文件夾位置，如有多個用逗號隔開。配置多個的話，每一個目錄下數(shù)據(jù)都是相同的，達到數(shù)據(jù)冗余備份的目的 --> <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> </property> <property> <name>dfs.datanode.data.dir</name> <!-- 創(chuàng)建的datanode文件夾位置，多個用逗號隔開，實際不存在的目錄會被忽略 --> <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> </property> </configuration>
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-env.sh
    # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ export JAVA_HOME=/home/vagrant/VMBigData/java/default/
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
    <?xml version="1.0" encoding="utf-8"?> <!-- YARN-HA 配置 --> <configuration> <!-- YARN HA 配置開始，與NN HA很相似 --><property> <name>yarn.resourcemanager.zk-address</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> <property> <!-- 啟用RM的高可用模式 --><name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <!-- 配置HA節(jié)點的邏輯名稱 --><name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>h01.vm.com</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>h02.vm.com</value> </property> <property> <name>yarn.resourcemanager.address.rm1</name> <value>h01.vm.com:8032</value> </property> <property> <name>yarn.resourcemanager.address.rm2</name> <value>h02.vm.com:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>h01.vm.com:8030</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>h02.vm.com:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm1</name> <value>h01.vm.com:8031</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm2</name> <value>h02.vm.com:8031</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>h01.vm.com:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>h02.vm.com:8088</value> </property> <property> <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <!-- 配置集群ID，使得yarn能夠在正確的集群上Active --><name>yarn.resourcemanager.cluster-id</name> <value>hd0703-yarn</value> </property> <property> <name>yarn.client.failover-proxy-provider</name> <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value> </property> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property><!-- 兩個可選值：org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore 以及 默認值org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore --><name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <!-- YARN HA 配置結(jié)束 --><property> <name>yarn.log-aggregation-enable</name> <!-- 打開日志聚合功能，這樣才能從web界面查看日志 --> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <!-- 聚合日志最長保留時間 --> <value>86400</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <!-- NodeManager總的可用內(nèi)存，這個要根據(jù)實際情況合理配置 --> <value>1024</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <!-- MapReduce作業(yè)時，每個task最少可申請內(nèi)存 --> <value>256</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <!-- MapReduce作業(yè)時，每個task最多可申請內(nèi)存 --> <value>512</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <!-- 可申請使用的虛擬內(nèi)存，相對于實際使用內(nèi)存大小的倍數(shù)。實際生產(chǎn)環(huán)境中可設置的大一些，如4.2 --> <value>2.1</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <!-- 中間結(jié)果存放位置。注意，這個參數(shù)通常會配置多個目錄，已分攤磁盤IO負載。 --> <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <!-- 日志存放位置。注意，這個參數(shù)通常會配置多個目錄，已分攤磁盤IO負載。 --> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/logdir1,/home/vagrant/VMBigData/hadoop/data/hdfs/logdir2</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
    • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
    <?xml version="1.0" encoding="utf-8"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.resource.mb</name> <!-- 默認值為 1536,可根據(jù)需要調(diào)整，調(diào)小一些也是可接受的 --> <value>512</value> </property> <property> <name>mapreduce.map.memory.mb</name> <!-- 每個map task申請的內(nèi)存，每一次都會實際申請這么多 --> <value>384</value> </property> <property> <name>mapreduce.map.java.opts</name> <!-- 每個map task中的child jvm啟動時參數(shù)，需要比 mapreduce.map.memory.mb 設置的小一些 --> <!-- 注意：map任務里不一定跑java，可能跑非java（如streaming） --> <value>-Xmx256m</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>384</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx256m</value> </property> <property> <name>mapreduce.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapreduce.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.child.java.opts</name> <!-- 默認值為 -Xmx200m，生產(chǎn)環(huán)境可以設大一些 --> <value>-Xmx384m</value> </property> <property> <name>mapreduce.task.io.sort.mb</name> <!-- 任務內(nèi)部排序緩沖區(qū)大小 --> <value>128</value> </property> <property> <name>mapreduce.task.io.sort.factor</name> <!-- map計算完全后的merge階段，一次merge時最多可有多少個輸入流 --> <value>100</value> </property> <property> <name>mapreduce.reduce.shuffle.parallelcopies</name> <!-- reuduce shuffle階段并行傳輸數(shù)據(jù)的數(shù)量 --> <value>50</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>h01.vm.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>h01.vm.com:19888</value> </property> </configuration>

    !!! 特別要注意 !!! 在 hdfs-site.xml 文件中的 dfs.namenode.shared.edits.dir 配置項： 當配置文件所在節(jié)點處于ns1集群時，此處值末尾部分為ns1，當處于ns2集群時，則為ns2

    安裝配置zookeeper

    • 在 h01 操作，后面通過 scp 同步到其他主機
    cd /home/vagrant/VMBigData/zookeeper/default/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg # 對該文件做出以下修改 dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp # 如果無法啟動zookeeper，可將以下代碼對應的行改為 0.0.0.0:2888:3888 # 注意zookeeper解析該文件很死板，不要輸入多余的空格和空行 server.1=h01.vm.com:2888:3888 server.2=h02.vm.com:2888:3888 server.3=h03.vm.com:2888:3888 mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid # 在此文件中輸入節(jié)點編號，比如h01節(jié)點就輸入1，h02節(jié)點就輸入2

    將hadoop所需文件同步到其他主機

    • 在 h01 上操作
    scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant scp -r /home/vagrant/VMBigData vagrant@h04.vm.com:/home/vagrant

    !!! 注意：default 軟連接需要重建 !!!

    • 修改各節(jié)點的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件，內(nèi)容為各節(jié)點編號，本例中為 1,2,3

    啟動zookeeper

    • 在 h01 h02 h03 操作
    cd /home/vagrant/VMBigData/zookeeper/default bin/zkServer.sh start

    啟動JournalNode

    • 在任一配置了journalnode的節(jié)點操作
    cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemons.sh --hostnames "h02.vm.com h03.vm.com h04.vm.com" start journalnode

    格式化namenode

    • 在 h01 和 h03 即每個集群其中一臺namenode的節(jié)點上執(zhí)行
    • 注意需要指定集群ID
    hdfs namenode -format -clusterid hd0703

    !!! 注意僅在首次啟動時執(zhí)行，因為此命令會刪除hadoop集群所有的數(shù)據(jù) !!!

    啟動格式化后的namenode

    • 在已經(jīng)格式化過的 h01 和 h03 namenode 節(jié)點運行
    cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemons.sh --hostnames "h01.vm.com h03.vm.com" start namenode

    同步四個namenode的數(shù)據(jù)

    • 在 h02 和 h04 執(zhí)行同步
    cd /home/vagrant/VMBigData/hadoop/default hdfs namenode -bootstrapStandby

    啟動同步后的namenode

    • 在已經(jīng)同步過的 h02 和 h04 namenode 節(jié)點運行
    cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemons.sh --hostnames "h02.vm.com h04.vm.com" start namenode

    格式化zkfc

    • 在 h01 和 h03 (主namenode) 上操作
    hdfs zkfc -formatZK

    !!! 注意僅在首次啟動時執(zhí)行 !!!

    啟動zkfc

    • 在 h01 操作即可
    cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemons.sh --hostnames "h01.vm.com h02.vm.com h03.vm.com h04.vm.com" start zkfc # sbin/hadoop-daemons.sh stop zkfc # 停止

    啟動hadoop集群：

    啟動hdfs

    • 可在任意主節(jié)點執(zhí)行
    cd /home/vagrant/VMBigData/hadoop/default sbin/start-dfs.sh # sbin/stop-dfs.sh # 停止

    啟動Yarn

    • 在h01 和 h02 即計劃搭載 ResourceManager 的節(jié)點上操作
    cd /home/vagrant/VMBigData/hadoop/default sbin/start-yarn.sh # sbin/stop-yarn.sh# 停止

    瀏覽服務啟動情況

    NameNode1 http://192.168.100.201:50070

    NameNode2 http://192.168.100.202:50070

    NameNode3 http://192.168.100.203:50070

    NameNode4 http://192.168.100.204:50070

    ResourceManager1 http://192.168.100.201:8088

    ResourceManager2 http://192.168.100.202:8088

    Datanode http://192.168.100.203:50075 http://192.168.100.204:50075

    zookeeper bin/zkServer.sh status

    zookeeper命令行 zkCli.sh -server 127.0.0.1:2181

    集群狀態(tài) bin/hdfs dfsadmin -report

    hadoop進程 jps

    動態(tài)添加/刪除HA集群

    // todo

    動態(tài)添加/刪除datanode

    // todo

    參考鏈接

    Apache Hadoop 2.7.2 – HDFS Federation

    Apache Hadoop 2.7.2 – HDFS High Availability Using the Quorum Journal Manager

    Apache Hadoop 2.7.2 – ResourceManager High Availability

    轉(zhuǎn)載于:https://my.oschina.net/bochs/blog/789612

    總結(jié)

    以上是生活随笔為你收集整理的Hadoop HA+Federation 高可用联邦模式搭建指南的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。