hadoop-2.7.2 分布式集群搭建
?
1.機(jī)器信息
?五臺(tái)centos 64位機(jī)器
2.集群規(guī)劃
| Server Name | Hadoop Cluster | Zookeeper ? Ensemble | HBase Cluster |
| Hadoop01 | Name node ? &?Resource manager | ? | Master |
| Hadoop02 | Secondary name ? node | ? | ? |
| Hadoop03 | Data node ? &?Node manager | √ | Region server |
| Hadoop04 | Data node ? &?Node manager | ?√ | Region server |
| Hadoop05 | Data node ? &?Node manager | ?√ | Region server |
?
?
?
? 3. hadoop 集群
3.1core-site.xml
<configuration>
<property>
? <name>hadoop.tmp.dir</name>
? <value>/usr/app/hadoop-2.7.2</value>
? <description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
? <name>io.file.buffer.size</name>
? <value>131072</value>
</property>
</configuration>
?
3.2hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoopdata/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoopdata/datanode</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>
<property>
? <name>io.file.buffer.size</name>
? <value>131072</value>
</property>
<property>
? <name>dfs.namenode.handler.count</name>
? <value>100</value>
</property>
?
</configuration>
3.3mapred-site.xml
<configuration>
?
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
? <name>mapreduce.jobhistory.address</name>
? <value>hadoop01:10020</value>
?</property>
<property>
? <name>mapreduce.jobhistory.address</name>
? <value>hadoop01:10020</value>
?</property>
?
</configuration>
3.4yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8035</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
? <name>yarn.acl.enable</name>
? <value>false</value>
</property>
<property>
? <name>yarn.admin.acl</name>
? <value>*</value>
</property>
<property>
? <name>yarn.log-aggregation-enable</name>
? <value>false</value>
</property>
?<property>
?? <name>yarn.resourcemanager.webapp.address</name>
?? <value>hadoop01:8088</value>
? </property>
?<property>
?? <name>yarn.resourcemanager.hostname</name>
?? <value>hadoop01</value>
? </property>
<property>
?? <name>yarn.nodemanager.aux-services</name>
?? <value>mapreduce_shuffle</value>
</property>
3.5slaves
hadoop03
hadoop04
hadoop05
3.6hadoop-env.sh
修改java_home 改成絕對(duì)路徑
export JAVA_HOME=/usr/app/jdk1.7.0_51
4修改host文件
命令 vim /etc/hosts
192.168.12.60 hadoop01
192.168.12.61 hadoop02
192.168.12.62 hadoop03
192.168.12.63 hadoop04
192.168.12.64 hadoop05
5.修改環(huán)境變量
?vim /etc/profile
編輯如下：
HADOOP_PREFIX=/usr/app/hadoop-2.7.2
HADOOP_MAPRED_PREFIX=$HADOOP_PREFIX
HADOOP_HDFS_PREFIX=$HADOOP_PREFIX
HADOOP_YARN_PREFIX=$HADOOP_PREFIX
PATH=$PATH:$HADOOP_PREFIX/bin
PATH=$PATH:$HADOOP_PREFIX/sbin
6配置ssh 免密碼登錄
? 命令 cd ~/.ssh
? 發(fā)現(xiàn) 沒有問價(jià) 那么就自己創(chuàng)建一個(gè).ssh 文件
? 利用ls –al 來查看文件
? 再執(zhí)行 命令 cd ~/.ssh
? 執(zhí)行 ssh-keygen -t rsa （四個(gè)回車）
? 命令ssh-copy-id localhost 和其他機(jī)器
7 集群配置
?將配置好的hadoop-2.7.2文件發(fā)送到各個(gè)機(jī)器上 并修改各個(gè)機(jī)器的配置文件
8啟動(dòng)集群
命令 start-dfs.sh? 顯示除了本機(jī)之外的權(quán)限不夠 Permission denied
登錄其他機(jī)器 修改調(diào)用文件的權(quán)限 例如 chmod 777 文件名
?
8總結(jié)
?遇到的問題 我在配置的時(shí)候 ssh 時(shí)候一直配置不成功 當(dāng)時(shí)使用的命令是scp ~/.ssh/id_rsa.pub root@192.168.0.2:/root/.ssh
后來使用ssh-copy-id 主機(jī)名 youxiao
還有一個(gè)問題就是啟動(dòng)hdfs 時(shí)候 目標(biāo)節(jié)點(diǎn)顯示權(quán)限不夠? (很困擾)困在這里很長時(shí)間。
修改權(quán)限之后就可以運(yùn)行了。
轉(zhuǎn)載于:https://www.cnblogs.com/qerror404/p/5438294.html
總結(jié)
以上是生活随笔為你收集整理的hadoop-2.7.2 分布式集群搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： java formatter()_Jav
- 下一篇： 【BFS】哈理工OJ-2074-逃生