1. 前言

本文搭建了一個由三節(jié)點（master、slave1、slave2）構(gòu)成的Hadoop完全分布式集群，并通過Hadoop分布式計算的一個示例測試集群的正確性。

2. 基礎(chǔ)集群的搭建

目的：獲得一個可以互相通信的三節(jié)點集群

使用VMware安裝master節(jié)點（稍后其他兩個節(jié)點可以通過復(fù)制master節(jié)點的虛擬機(jī)文件創(chuàng)建）。

三個節(jié)點存儲均為30G默認(rèn)安裝，master節(jié)點內(nèi)存大小為1GB，單核，slave節(jié)點內(nèi)存大小1GB，單核

3. 集群網(wǎng)絡(luò)配置

本文中的集群網(wǎng)絡(luò)環(huán)境配置如下:

ubuntu1內(nèi)網(wǎng)IP：192.168.186.101

ubuntu2內(nèi)網(wǎng)IP：192.168.186.102

ubuntu3內(nèi)網(wǎng)IP：192.168.186.103

4. 集群SSH免密登陸設(shè)置

4.1 創(chuàng)建master用戶

為三個節(jié)點分別創(chuàng)建相同的用戶master，并在以后的操作均在此用戶下操作，操作如下：

$su -#useradd -m master#passwd master

為hadoop添加sudo權(quán)限

#visudo

在該行root ALL=(ALL) ALL下添加master ALL=(ALL) ALL保存后退出，并切換回hadoop用戶

#su master

注意事項：三個節(jié)點的用戶名必須相同，不然以后會對后面ssh及hadoop集群搭建產(chǎn)生巨大影響

4.2 Host文件設(shè)置

為了不直接使用IP，可以通過設(shè)置hosts文件達(dá)到ssh slave1這樣的的效果（三個節(jié)點設(shè)置相同）

$sudo vim /etc/hosts

在文件尾部添加如下行，保存后退出：

192.168.186.101　　ubuntu1

192.168.186.102　　ubuntu2

192.168.186.103　　ubuntu3

4.3 ssh設(shè)置

設(shè)置master節(jié)點和兩個slave節(jié)點之間的雙向ssh免密通信，下面以master節(jié)點ssh免密登陸slave節(jié)點設(shè)置為例，進(jìn)行ssh設(shè)置介紹（以下操作均在master機(jī)器上操作）：

首先生成master的rsa密鑰：$ssh-keygen -t rsa

設(shè)置全部采用默認(rèn)值進(jìn)行回車

將生成的rsa追加寫入授權(quán)文件：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

給授權(quán)文件權(quán)限：$chmod 600 ~/.ssh/authorized_keys

進(jìn)行本機(jī)ssh測試：$ssh master正常免密登陸后所有的ssh第一次都需要密碼，此后都不需要密碼

將master上的authorized_keys傳到slave1

sudo scp ~/.ssh/authorized_keys master@ubuntu2:~/.ssh/

退出slave1：$exit

進(jìn)行免密ssh登陸測試：$ssh ubuntu2

5. Java安裝

目的：hadoop是基于Java的，所以要安裝配置Java環(huán)境（三個節(jié)點均需要操作，以下以master節(jié)點為例）

配置JavaPATH和Java_HOME export JAVA_HOME=/opt/softwares/java/jdk1.8.0_191export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:

6.Hadoop HDFS 安裝

6.1 Hadoop的masetr節(jié)點配置

配置hadoop的配置文件core-site.xml　　hdfs-site.xml　　mapred-site.xml　　yarn-site.xml　　slaves（都在~/hadoop/etc/hadoop文件夾下）

$cd ~/hadoop/etc/hadoop

$vim core-site.xml其他文件相同，以下為配置文件內(nèi)容：

core-site.xml

<configuration> <!-- 指定HDFS namenode的通信地址 --> <property><name>fs.defaultFS</name><value>hdfs://ubuntu1:9000</value> </property><!-- 指定hadoop運(yùn)行時產(chǎn)生文件的存儲路徑 --> <property><name>hadoop.tmp.dir</name><value>/opt/softwares/hadoop/tmp</value> </property> </configuration>

hdfs-site.xml

<configuration> <property><name>dfs.replication</name><value>2</value> </property><property><name>dfs.namenode.secondary.http-address</name><value>ubuntu1:50090</value> </property> </configuration

hadoop-env.sh

export JAVA_HOME=/opt/softwares/java/jdk1.8.0_191

配置vim /etc/profile

export JAVA_HOME=/opt/softwares/java/jdk1.8.0_191 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH #Zookeeper export ZOOKEEPER_HOME=/opt/softwares/zookeeper/zookeeper-3.4.6 #Hadoop export HADOOP_HOME=/opt/softwares/hadoop/hadoop-2.9.2 #PATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

7. Hadoop Namenode格式化

hdfs namenode -format (ubuntu1) start-dfs.sh

8. 啟動和關(guān)閉Hadoop HDFS

8.1 啟動HDFS

啟動hadoop Hdfs進(jìn)程

start-dfs.sh

啟動hadoop namenode進(jìn)程

hadoop-daemon.sh start namenode

啟動hadoop datanode進(jìn)程

hadoop-daemon.sh start datanode

啟動hadoop Secondarynamenode進(jìn)程

hadoop-daemon.sh start secondarynamenode

8.2 關(guān)閉HDFS

關(guān)閉hadoop Hdfs進(jìn)程

stop-dfs.sh

關(guān)閉hadoop namenode進(jìn)程

hadoop-daemon.sh stop namenode

關(guān)閉hadoop datanode進(jìn)程

hadoop-daemon.sh stop datanode

關(guān)閉hadoop Secondarynamenode進(jìn)程

hadoop-daemon.sh stop secondarynamenode

總結(jié)

以上是生活随笔為你收集整理的Hadoop详解（三）：HDFS完全分布式环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。