hadoop集群搭建

這里的集群只是一個單點登錄的集群，沒有做到正真的HA高可用，只是一個namenode節點多個datanode節點

基本思路:

先在一個節點上配置好hadoop集群

將配置好的hadoop復制給其他的節點機

配置ssh免密碼登錄（這里是為了第四步）

namenode啟動整個集群（通過ssh啟動其他datanode節點）

我這里準備用三個節點機作演示，使用hadoop-2.9.0版本

• 10.100.101.127（namenode節點，resourceManager節點）
• 10.100.102.127（datanode節點，nodeManager節點）
• 10.100.103.127（datanode節點，nodeManager節點）

搭建前環境準備

hadoop是java語言寫的，運行hadoop依賴jvm，需要先安裝jdk,配置環境變量JAVA_HOME,三個節點上環境和安裝目錄需一致

[root@localhost hadoop]# echo $JAVA_HOME /data/software/jdk1.8.0_121

開始搭建

第一步

http://hadoop.apache.org/rele...，將安裝包上傳到10.100.101.127機器上，解壓

# 使用secureCRT客戶端工具上傳 rz -bye tar -zxvf hadoop-2.9.0.tar.gz

第二步

修改配置文件（6個），配置文件在$HADOOP_HOME/etc/hadoop/文件夾下

hadoop-env.sh

export JAVA_HOME=/data/software/jdk1.8.0_121

core-site.xml

``` <configuration><property><name>fs.defaultFS</name><value>hdfs://172.18.113.120:9000</value></property> </configuration> ```

hdfs-site.xml

``` <configuration><property><name>dfs.replication</name><value>3</value></property><property><!-- 默認為true,通過主機名配置，如果是通過ip配置，這里需要配置false --><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property> </configuration> ```

yarn-site.xml

``` <configuration><property><name>yarn.resourcemanager.hostname</name><value>10.100.101.127</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration> ```

mapred-site.xml

``` # 這個配置文件默認沒有，但是有個模板可以參考 [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml ``` ``` <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration> ```

slaves

這里配置的是datanode節點，一個節點占一行，hadoop將這個文件改成了`workers```` 10.100.101.127 10.100.102.127 10.100.103.127 ```

第三步

配置ssh免登錄

通過namenode自動啟動datanote，所以要配置namenode通過ssh連接datanode不需要密碼，如果namenode節點同時擔任一個datanode節點，那么也要配置namenode在ssh自己的時候也要免密碼登錄

# 一路回車 ssh-keygen ssh-copy-id 10.100.102.127 ssh-copy-id 10.100.103.127 ssh-copy-id 10.100.101.127

第四步

復制文件給其他節點，啟動集群

# 把配置好的hadoop給其他兩個節點各復制一份，注意jdk環境要一致 scp -r hadoop-2.9.0 10.100.102.127:///home/ scp -r hadoop-2.9.0 10.100.103.127:///home/ # 首次啟動需要先在 Master 節點執行 NameNode 的格式化，之后的啟動不需要再去進行： bin/hdfs namenode -format # 啟動dfs Default HTTP port is 50070 sbin/start-dfs.sh # 啟動yarn Default HTTP port is 8088 sbin/start-yarn.sh # 啟動jobhistory Default HTTP port is 19888. sbin/mr-jobhistory-daemon.sh start historyserve # 通過命令 hdfs dfsadmin -report 查看 DataNode 是否正常啟動 bin/hdfs dfsadmin -report ... Live datanodes (3): ...

查看進程

# namenode上的進程數10.100.101.127 # jps 24496 DataNode 25107 NodeManager 24358 NameNode 24998 ResourceManager 25494 JobHistoryServer 24679 SecondaryNameNode 25591 Jps 22442 Bootstrap# datanode上的進程數10.100.102.127/10.100.103.127 # jps 24657 Jps 24338 DataNode 24518 NodeManager 23342 Bootstrap

關閉集群同樣也是在Master節點上執行

$stop-yarn.sh $stop-dfs.sh $mr-jobhistory-daemon.sh stop historyserver

參考文獻：

• https://www.cnblogs.com/vince...
• http://hadoop.apache.org/docs...
• http://www.cnblogs.com/bethun...

總結

以上是生活随笔為你收集整理的hadoop集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。