?

1.機器信息

?五臺centos 64位機器

2.集群規劃

Server Name	Hadoop Cluster	Zookeeper ? Ensemble	HBase Cluster
Hadoop01	Name node ? &?Resource manager	?	Master
Hadoop02	Secondary name ? node	?	?
Hadoop03	Data node ? &?Node manager	√	Region server
Hadoop04	Data node ? &?Node manager	?√	Region server
Hadoop05	Data node ? &?Node manager	?√	Region server

?

?

?

? 3. hadoop 集群

3.1core-site.xml

<configuration>

<property>

? <name>hadoop.tmp.dir</name>

? <value>/usr/app/hadoop-2.7.2</value>

? <description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

? <name>io.file.buffer.size</name>

? <value>131072</value>

</property>

</configuration>

?

3.2hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/root/hadoopdata/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/root/hadoopdata/datanode</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop02:9001</value>

</property>

<property>

? <name>io.file.buffer.size</name>

? <value>131072</value>

</property>

<property>

? <name>dfs.namenode.handler.count</name>

? <value>100</value>

</property>

?

</configuration>

3.3mapred-site.xml

<configuration>

?

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

? <name>mapreduce.jobhistory.address</name>

? <value>hadoop01:10020</value>

?</property>

<property>

? <name>mapreduce.jobhistory.address</name>

? <value>hadoop01:10020</value>

?</property>

?

</configuration>

3.4yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop01:8035</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hadoop01:8032</value>

</property>

<property>

? <name>yarn.acl.enable</name>

? <value>false</value>

</property>

<property>

? <name>yarn.admin.acl</name>

? <value>*</value>

</property>

<property>

? <name>yarn.log-aggregation-enable</name>

? <value>false</value>

</property>

?<property>

?? <name>yarn.resourcemanager.webapp.address</name>

?? <value>hadoop01:8088</value>

? </property>

?<property>

?? <name>yarn.resourcemanager.hostname</name>

?? <value>hadoop01</value>

? </property>

<property>

?? <name>yarn.nodemanager.aux-services</name>

?? <value>mapreduce_shuffle</value>

</property>

3.5slaves

hadoop03

hadoop04

hadoop05

3.6hadoop-env.sh

修改java_home 改成絕對路徑

export JAVA_HOME=/usr/app/jdk1.7.0_51

4修改host文件

命令 vim /etc/hosts

192.168.12.60 hadoop01

192.168.12.61 hadoop02

192.168.12.62 hadoop03

192.168.12.63 hadoop04

192.168.12.64 hadoop05

5.修改環境變量

?vim /etc/profile

編輯如下：

HADOOP_PREFIX=/usr/app/hadoop-2.7.2

HADOOP_MAPRED_PREFIX=$HADOOP_PREFIX

HADOOP_HDFS_PREFIX=$HADOOP_PREFIX

HADOOP_YARN_PREFIX=$HADOOP_PREFIX

PATH=$PATH:$HADOOP_PREFIX/bin

PATH=$PATH:$HADOOP_PREFIX/sbin

6配置ssh 免密碼登錄

? 命令 cd ~/.ssh

? 發現 沒有問價 那么就自己創建一個.ssh 文件

? 利用ls –al 來查看文件

? 再執行 命令 cd ~/.ssh

? 執行 ssh-keygen -t rsa （四個回車）

? 命令ssh-copy-id localhost 和其他機器

7 集群配置

?將配置好的hadoop-2.7.2文件發送到各個機器上 并修改各個機器的配置文件

8啟動集群

命令 start-dfs.sh? 顯示除了本機之外的權限不夠 Permission denied

登錄其他機器 修改調用文件的權限 例如 chmod 777 文件名

?

8總結

?遇到的問題 我在配置的時候 ssh 時候一直配置不成功 當時使用的命令是scp ~/.ssh/id_rsa.pub root@192.168.0.2:/root/.ssh

后來使用ssh-copy-id 主機名 youxiao

還有一個問題就是啟動hdfs 時候 目標節點顯示權限不夠? (很困擾)困在這里很長時間。

修改權限之后就可以運行了。

轉載于:https://www.cnblogs.com/qerror404/p/5438294.html

總結

以上是生活随笔為你收集整理的hadoop-2.7.2 分布式集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。