目錄

?

• 目錄
• 實驗環境
• 安裝 Hadoop
• 配置文件
• 在另外兩臺虛擬機上搭建hadoop
• 啟動hdfs集群
• 啟動yarn集群

?

本文主要是在上節CentOS集群基礎上搭建Hadoop集群。

實驗環境

• Hadoop版本：CDH 5.3.6

*本實驗項目所需軟件均可在百度網盤鏈接：http://pan.baidu.com/s/1dFeNR6h?密碼：1zx4中獲取。

安裝 Hadoop

上傳hadoop文件到/usr/local目錄下

rz

解壓

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz

刪除tar包

rm -rf hadoop-2.5.0-cdh5.3.6.tar.gz

重命名?

mv hadoop-2.5.0-cdh5.3.6 hadoop?

設置環境變量

vi ~/.bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效設置

source ~/.bashrc

• 1

• 1

測試

hadoop hadoop versionyarn yarn version

?
?

創建/usr/local/data目錄?

配置文件

修改core-site.xml文件

cd /hadoop/etc/hadoop ls vi core-sie.xml

<property><name>fs.default.name</name> <value>hdfs://sparkproject1:9000</value> </property>

修改hdfs-site.xml

<property><name>dfs.name.dir</name> <value>/usr/local/data/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/data/datanode</value> </property> <property> <name>dfs.tmp.dir</name> <value>/usr/local/data/tmp</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>

修改mapred-site.xml

cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <property><name>mapreduce.framework.name</name> <value>yarn</value> </property>

修改yarn-site.xml

<property><name>yarn.resourcemanager.hostname</name> <value>sparkproject1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

修改slaves

sparkproject2 sparkproject3

sparkproject1是主節點，sparkproject2和sparkproject3是從節點

在另外兩臺虛擬機上搭建hadoop

在sparkproject1上使用scp命令將配置好的文件傳輸到另外兩個虛擬機上

cd /usr/local scp -r hadoop root@sparkproject2:/usr/local scp -r hadoop root@sparkproject3:/usr/local scp ~/.bashrc root@sparkproject2:~/ scp ~/.bashrc root@sparkproject3:~/

在sparkproject2和sparkproject3上分別執行

source ~/.bashrc

在sparkproject2和sparkproject3的/usr/local目錄下創建data目錄

cd /usr/local mkdir data

啟動hdfs集群

格式化namenode?
在sparkproject1上執行

hdfs namenode –format

啟動集群

start-dfs.sh

查看是否啟動成功?

在瀏覽器中輸入sparkproject1:50070查看狀態?

上傳測試文件

vi hello.txt Hello world ! hdfs dfs -put hell.txt /hello.txt

在網頁端查看上傳的文件?

啟動yarn集群

start-yarn.sh

• 1

• 1

使用jps檢查各節點啟動狀態，sparkproject1上啟動ResourceManager，sparkproject2和sparkproject3節點上啟動NodeManager?

在瀏覽器中輸入sparkproject1：8088查看?

至此，hadoop集群搭建完成，下一步將安裝Hive。

更多文章：Spark大型電商項目實戰：http://blog.csdn.net/u012318074/article/category/6744423

轉載于:https://www.cnblogs.com/wanghuaijun/p/6860877.html

總結

以上是生活随笔為你收集整理的3.环境搭建-Hadoop（CDH）集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。