完全分布式
示意圖

Namnode的配置
克隆機器
1， 克隆，改名
2， 該udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改為eth0，把前面幾行都注釋掉
start_udev 開啟
改網(wǎng)卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.100
把uuid和MAC地址注釋掉或者刪除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默認localhost改為namenode
重啟 reboot
4， 關閉防火墻 service iptables stop
5， 安裝JDK ,安裝Hadoop
rpm -ivh jdk… 默認安裝到/usr/java/jdk… 把它名字改為jdk7
配置環(huán)境變量/etc/profile
里面需要添加兩行
export JAVAHOME=/usr/java/jdk7
export PATH=$PATH:$JAVAHOME/bin
文件配置完畢侯需要source一下
source /etc/profile

安裝hadoop
tar -zxvf had… -C /opt/
配置環(huán)境變量/etc/profile
里面需要添加兩行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完畢侯需要source一下
source /etc/profile
6, 修改hosts文件，通過名字可以找到對方的IP 寫四條
vi /etc/hosts添加下面4條
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三個環(huán)境變量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
這三個文件里面修改JAVA_HOME改位自己安裝的JDK目錄
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value> </property> <property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value> </property>

配置hdfs-site.xml
vi hdfs-site.xml

<property><name>dfs.replication</name><value>2</value> </property> <property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value> </property>

配置奴隸文件
Vi slaves
添加
node1
node2
node3

NODE1:
1， 克隆，改名
2， 該udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改為eth0，把前面幾行都注釋掉
start_udev 開啟
改網(wǎng)卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.101
把uuid和MAC地址注釋掉或者刪除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默認localhost改為node1
重啟 reboot
4， 關閉防火墻 service iptables stop
5， 安裝JDK ,安裝Hadoop
rpm -ivh jdk… 默認安裝到/usr/java/jdk… 把它名字改為jdk7
配置環(huán)境變量/etc/profile
里面需要添加兩行
export JAVAHOME=/usr/java/jdk7
export PATH=$PATH:$JAVAHOME/bin
文件配置完畢侯需要source一下
source /etc/profile

安裝hadoop
tar -zxvf had… -C /opt/
配置環(huán)境變量/etc/profile
里面需要添加兩行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完畢侯需要source一下
source /etc/profile
6, 修改hosts文件，通過名字可以找到對方的IP 寫四條
vi /etc/hosts添加下面4條
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三個環(huán)境變量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
這三個文件里面修改JAVA_HOME改位自己安裝的JDK目錄
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value> </property> <property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value> </property>

配置hdfs-site.xml
vi hdfs-site.xml

<property><name>dfs.replication</name><value>2</value> </property> <property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value> </property>

配置奴隸文件
Vi slaves
添加
node1
node2
node3
NODE2:
1， 克隆，改名
2， 該udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改為eth0，把前面幾行都注釋掉
start_udev 開啟
改網(wǎng)卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.102
把uuid和MAC地址注釋掉或者刪除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默認localhost改為node2
重啟 reboot
4， 關閉防火墻 service iptables stop
5， 安裝JDK ,安裝Hadoop
rpm -ivh jdk… 默認安裝到/usr/java/jdk… 把它名字改為jdk7
配置環(huán)境變量/etc/profile
里面需要添加兩行
export JAVAHOME=/usr/java/jdk7
export PATH=$PATH:$JAVAHOME/bin
文件配置完畢侯需要source一下
source /etc/profile

安裝hadoop
tar -zxvf had… -C /opt/
配置環(huán)境變量/etc/profile
里面需要添加兩行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完畢侯需要source一下
source /etc/profile
6, 修改hosts文件，通過名字可以找到對方的IP 寫四條
vi /etc/hosts添加下面4條
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三個環(huán)境變量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
這三個文件里面修改JAVA_HOME改位自己安裝的JDK目錄
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value> </property> <property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value> </property>

配置hdfs-site.xml
vi hdfs-site.xml

<property><name>dfs.replication</name><value>2</value> </property> <property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value> </property>

配置奴隸文件
Vi slaves
添加
node1
node2
node3

NODE3:
1， 克隆，改名
2， 該udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改為eth0，把前面幾行都注釋掉
start_udev 開啟
改網(wǎng)卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.103
把uuid和MAC地址注釋掉或者刪除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默認localhost改為node3
重啟 reboot
4， 關閉防火墻 service iptables stop
5， 安裝JDK ,安裝Hadoop
rpm -ivh jdk… 默認安裝到/usr/java/jdk… 把它名字改為jdk7
配置環(huán)境變量/etc/profile
里面需要添加兩行
export JAVAHOME=/usr/java/jdk7
export PATH=$PATH:$JAVAHOME/bin
文件配置完畢侯需要source一下
source /etc/profile

安裝hadoop
tar -zxvf had… -C /opt/
配置環(huán)境變量/etc/profile
里面需要添加兩行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完畢侯需要source一下
source /etc/profile
6, 修改hosts文件，通過名字可以找到對方的IP 寫四條
vi /etc/hosts添加下面4條
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三個環(huán)境變量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
這三個文件里面修改JAVA_HOME改位自己安裝的JDK目錄
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value> </property> <property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value> </property>

配置hdfs-site.xml
vi hdfs-site.xml

<property><name>dfs.replication</name><value>2</value> </property> <property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value> </property>

配置奴隸文件
Vi slaves
添加
node1
node2
node3

以上都做完后，開始免密鑰登錄
（1） 在4臺上產(chǎn)生公鑰
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
（2）把自己的公鑰進行修改名字
cp ~/.ssh/id_dsa.pub namenode.pub (node1.pub,node2.pub,node3.pub)
(3)把這些公鑰放在同一臺機器上然后一個authorized文件里面
Cat namenode.pub >> ~/.ssh/authorized_keys
Node1.pub >> ~/.ssh/authorized_keys
Node2.pub >> ~/.ssh/authorized_keys
Node3.pub >> ~/.ssh/authorized_keys
把authorized文件scp各個機器

做免密碼測試

把四臺機器的時間設置為一樣的時間

Date -s “xxxxxx”

格式化hdfs
Hdfs namenode -fromat

啟動集群
Start-dfs.sh
最后使用jps看一下集群是否正常!

總結(jié)

以上是生活随笔為你收集整理的4台机器完全分布式安装hadoop，bigbrother的补充的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。