二、通過Xshell6連接虛擬機正式配置Hadoop

上篇我們說到在Vmware中搭建Hadoop時首先配置Hadoop的網絡環境；
下篇我們將通過Xshell6連接VMware正式配置Hadoop：

注：本文中出現的IP地址：192.168.127.103均是在上篇配置網絡環境時在以下圖中"IPADDR"位置處配的IP地址；

這里大家根據自己分配的IP地址配置后面在Hadoop中需要的IP；

博主是后面重新分配了一個IP地址：192.168.127.100搭建的，文章中出現兩個不同的IP地址，請各位小伙伴注意！一定要寫自己分配的IP地址！

1、連接Xshell和Vmware

打開Xshell6，點擊文件，點擊新建；名稱欄為"master"，主機欄為配置前篇配置的IP地址：


沒有反應時，重進Xshell，如遇到一次性保存這樣的彈窗，點中間接受并保存，然后進行以下步驟，點擊確定：

2、如此，我們成功連接了虛擬機，下面進行配置：

2.1、不是root用戶的切換至root和用戶：

輸入命令：

su root

2.2、配置時鐘同步：

在線安裝ntpdate，使用阿里云ntp服務器同步時間，date命令查看當前時間

輸入命令：

yum install ntpdate ntpdate ntp.aliyun.com

查看時間：

輸入命令：

date

2.3配置主機名

主機名的作用是可以在網絡中能夠唯一標識主機，和IP地址一樣，可通過IP地址和網絡主機名訪問這臺主機，作用：簡化、方便。

修改主機名：

輸入命令：

hostnamectl set-hostname master

查看修改后的主機名：

輸入命令：

hostname

2.4、配置hosts列表

hosts列表作用是讓集群中的每臺服務器彼此都知道對方的主機名和IP地址

輸入命令：

vi /etc/hosts

添加主機IP和主機名：

192.168.253.5 master

ESC :wq保存并退出

驗證，ping IP地址和主機名，結果相同無區別，ping通即成功

輸入命令：

ping 192.168.127.103 ping master

2.5、安裝Java環境

創建個人用戶目錄，java目錄，Hadoop目錄：

輸入命令：

mkdir /usr/zpf mkdir /usr/java mkdir /usr/hadoop

使用Xftp復制java安裝包至zpf目錄下，解壓后移動至java目錄下（注：Xftp的使用和Xshell基本一致，連接成功即可）：

然后在Xshell進入"zpf"目錄里輸入命令：

解壓：

tar -zxvf jdk-8u161-linux-x64.tar.gz

移動：

mv jdk1.8.0_161 /usr/java/jdk1.8.0_161

然后我們去Java目錄里查看一下是否成功：

輸入命令：

cd .. cd java ls

成功！

進入系統配置文件：

輸入命令：

vi /etc/profile

文件最后添加以下兩行代碼：

export JAVA_HOME=/usr/java/jdk1.8.0_161 export PATH=$JAVA_HOME/bin:$PATH

查看Java環境是否配置成功：

輸入命令：

source /etc/profile java -version

成功！

2.6、安裝Hadoop環境

使用Xftp上傳Hadoop安裝包至zpf文件夾下，解壓Hadoop安裝包，并移動至Hadoop文件夾中：

然后在Xshell進入"zpf"目錄里輸入命令：

解壓：

tar -zxvf hadoop-2.10.0.tar.gz

移動：

mv hadoop-2.10.0 /usr/hadoop/hadoop-2.10.0

配置Hadoop環境變量：

輸入命令：

vi /etc/profile

在配置文件最后添加以下兩行代碼：

export HADOOP_HOME=/usr/hadoop/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

查看Hadoop環境是否配置成功：

輸入命令：

source /etc/profile hadoop version whereis hdfs

成功！

2.7、將Hadoop與java綁定

設置Hadoop配置文件：

輸入命令：

cd /usr/hadoop/hadoop-2.10.0/etc/hadoop vi hadoop-env.sh

找到下面這行代碼：

export JAVA_HOME=${JAVA_HOME}

修改為：

export JAVA_HOME=/usr/java/jdk1.8.0_161

3、配置Hadoop

3.1、配置Hadoop核心文件

進入Hadoop的etc文件夾，配置core-site.xml文件

輸入命令：

vi core-site.xml

新增以下內容：

<configuration><!--指定文件系統的入口地址，可以為主機名或ip --><!--端口號默認為8020 --><property><name>fs.defaultFS</name><value>hdfs://master:8020</value></property><!--指定hadoop的臨時工作存目錄--><property><name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value></property> </configuration>

配置yarn-env.sh文件

輸入命令：

vi yarn-env.sh

找到該行：export JAVA_HOME=/home/y/libexec/jdk1.6.0/

修改為：

export JAVA_HOME=/usr/java/jdk1.8.0_161

配置hdfs-site.xml文件

輸入命令：

vi hdfs-site.xml

新增以下內容：

<configuration><!--指定hdfs備份數量，小于等于從節點數目--><property><name>dfs.replication</name><value>3</value></property><!-- 自定義hdfs中namenode的存儲位置--><!-- <property>--><!-- <name>dfs.namenode.name.dir</name>--><!-- <value>file:/usr/hadoop/dfs/name</value>--><!-- </property>--><!-- 自定義hdfs中datanode的存儲位置--><!-- <property>--><!-- <name>dfs.datanode.data.dir</name>--><!-- <value>file:/usr/hadoop/dfs/data</value>--><!--</property>--> </configuration>

配置mapred-site.xml文件，通過cp命令生成不帶后綴 template 的文件

輸入命令：`

cp mapred-site.xml.template mapred-site.xml

輸入命令：

vi mapred-site.xml

新增以下內容：

<configuration><!--hadoop的MapReduce程序運行在YARN上--><!--默認值為local--><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

配置yarn-site.xml文件

輸入命令：

vi yarn-site.xml

新增內容：

<configuration><property><name>yarn.resourcemanager.hostname</name><value>master</value></property> <!--nomenodeManager獲取數據的方式是shuffle--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

修改slaves文件，刪除原有內容，新增即將要建立的三個虛擬機的hostname

輸入命令：

vi slaves

3.2、克隆多臺slave機

使用master鏡像克隆3臺虛擬機(創建完整克隆)，名稱分別為slave1、slave2、slave3，根據電腦配置情況可以自由設置數量
虛擬機處在關機狀態下：右擊—>管理—>克隆
創建三個克隆機

• 進入根目錄下etc/sysconfig/network-scripts中，修改每臺slave機的ip地址 ，方法同1.3
• 修改每個slave的主機名，方法同2.3

hostnamectl set-hostname slave1 hostnamectl set-hostname slave2 hostnamectl set-hostname slave3

• 修改master和每個slave機的hosts文件，方法同2.4，將以下代碼更新到etc/hosts文件中

192.168.253.5 master 192.168.253.6 slave1 192.168.253.7 slave2 192.168.253.8 slave3

3.3 同步Hadoop配置（僅當master與slave配置不同時使用）

將master機上的Hadoop文件夾發送給三臺slave機

輸入命令：

scp -r /usr/hadoop slave1:/usr/hadoop scp -r /usr/hadoop slave2:/usr/hadoop scp -r /usr/hadoop slave3:/usr/hadoop

4、配置SSH登錄

4.1 生成公鑰私鑰

在master和每臺slave上，使用rsa算法產生公鑰和私鑰（一路按"回車"即可）

輸入命令：

ssh-keygen -t rsa

(一路按回車)

查看生成的私鑰id_rsa和公鑰id_rsa.pub

輸入命令：

cd /root/.ssh/ ls

4.2 發送公鑰

在master上創建一個大家通用的公鑰authorized_keys，修改authorized_keys權限，并將這個公鑰發送給每個slave機

依次輸入命令：

cat id_rsa.pub >> authorized_keys chmod 644 authorized_keys systemctl restart sshd.service scp /root/.ssh/authorized_keys slave1:/root/.ssh scp /root/.ssh/authorized_keys slave2:/root/.ssh scp /root/.ssh/authorized_keys slave3:/root/.ssh

4.4 、驗證SSH

依次輸入命令：

ssh master exit ssh slave1 exit ssh slave2 exit ssh slave3 exit

5.、準備運行hadoop

5.1、 格式化HDFS

在master機上，進入Hadoop下的bin文件夾

輸入命令：

hdfs namenode -format

（注意：只需格式化一次！多次格式化會導致NameNode和DataNode的集群ID值不匹配，需要在格式化前刪除NameNode，DataNode、日志等文件夾。所以此步驟只能執行一次！）

5.2 、啟動Hadoop

進入Hadoop中的sbin文件夾下

輸入命令：

start-dfs.sh start-yarn.sh

5.3、 查看hadoop進程

輸入命令：

jps

5.4 通過web端訪問hadoop

• 查看NameNode、DataNode：http://192.168.127.103:50070

• 查看SecondaryNameNode信息：http://192.168.127.103:50090

• 查看YARN界面：http://192.168.127.103:8088
  
  
  
  至此，Hadoop環境已經搭建完成！

注：本文中出現的IP地址：192.168.127.103均是在上篇配置網絡環境時在以下圖中"IPADDR"位置處配的IP地址；

這里大家根據自己分配的IP地址配置后面在Hadoop中需要的IP；

博主后面也是重新分配了一個IP地址：192.168.127.100搭建的，文章中出現兩個不同的IP地址，請各位小伙伴注意！一定要寫自己分配的IP地址！

感謝！如遇疑問，請在下方評論或者私信博主，博主會盡自己最大能力幫你解決問題！

總結

以上是生活随笔為你收集整理的下、Hadoop环境搭建——通过Xshell6连接VMware正式配置Hadoop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。