1、復(fù)制虛擬機(jī)，搞了5臺(tái)。

1：namenode，resourcemanager

2：secondardNameNode

3，4，5：DataNode

?

2、修改了網(wǎng)卡配置，連接上SecureCRT

?

---------root----用戶(hù)----------

3、date查看了時(shí)間

4、開(kāi)機(jī)啟動(dòng)了 ntpdate

chkconfig --list

chkconfig --level 12345 ntpdate on

?

5、ntpdate 同步時(shí)間

service ntpdate restart

?

6、查看JAVA_HOME

echo $JAVA_HOME

?

-rw-r--r--. 2 root root 158 Jan 12 2010 hosts

-rw-r--r--. 1 root root 1796 Oct 2 2013 profile

8、每臺(tái)配置本機(jī)域名

[root@zengmg etc]# vi /etc/sysconfig/network

?

NETWORKING=yes

HOSTNAME=hadoop1

?

hostname node1讓修改生效，無(wú)需重啟。

?

9、每臺(tái)配置hosts文件

多窗口發(fā)送命令

vi /etc/hosts

?

192.168.18.131 hadoop1

192.168.18.132 hadoop2

192.168.18.133 hadoop3

192.168.18.134 hadoop4

192.168.18.135 hadoop5

//要編寫(xiě)一個(gè)shell腳本，如果集群里有幾十臺(tái)怎么辦？

?

10、關(guān)閉防火墻

chkconfig iptables off

service iptables stop

?

11、創(chuàng)建 hadoop 用戶(hù)，密碼

adduser hadoop

passwd hadoop

?

12、給hadoop用戶(hù)配置root組

vi /etc/sudoers

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

在這里添加

hadoop ALL=(ALL) ALL

?

---------------hadoop----用戶(hù)-----------------------------

1、ssh免密碼登錄

hadoop1是NameNode。無(wú)需各臺(tái)機(jī)器互相ssh免密碼。只要hadoop1能免密訪(fǎng)問(wèn)其他機(jī)器

hadoop1機(jī)器上：

ssh-keygen -t rsa

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

ssh-copy-id hadoop4

ssh-copy-id hadoop5

?

這個(gè)ssh免密登錄是針對(duì)hadoop用戶(hù)。root用戶(hù)沒(méi)有配置，不能免密登錄對(duì)方。ssh免密是用戶(hù)有效

?

1、上傳JDK和hadoop

2、在hadoop的home目錄下建文件夾 application。在/（根目錄下）沒(méi)有權(quán)限新建，只有root能建立。

[hadoop@hadoop1 /]$ mkdir application

mkdir: cannot create directory `application': Permission denied

3、解壓hadoop，jdk的壓縮包到 application 文件夾

tar?-xzvf?壓縮包 -C application

?

4、配置jdk，hadoop的環(huán)境變量

[hadoop@hadoop1 etc]$ sudo vi /etc/profile

export JAVA_HOME=/home/hadoop/application/jdk1.8.0_73

export HADOOP_HOME=/home/hadoop/application/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

?

5、使配置的變量生效

source /etc/profile

?

6、配置hadoop配置文件

1)、hadoop-env.sh shell文件配置javahome

# The java implementation to use.

export JAVA_HOME=/home/hadoop/application/jdk1.8.0_73

2)、core-site.xml 文件配置 NameNode訪(fǎng)問(wèn)地址和namenode數(shù)據(jù)存放路徑

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

?

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop_data</value>

</property>

?

------下面的配置是hive beeline的訪(fǎng)問(wèn)配置--

hadoop的core-site.xml增加配置

?

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>hadoop</value>

</property>

?

//如果是 <value>*</value> 就是所有用戶(hù)

?

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

?

//這里配置了所有ip都允許代理訪(fǎng)問(wèn)。如果不允許，則配置IP地址

?

?

3)、hdfs-site.xml 文件配置 數(shù)據(jù)副本個(gè)數(shù)，可以不配置的。因?yàn)槟J(rèn)是3

此文件還配置 SecondaryNameNode

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

?

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop2:50090</value>

</property>

?

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>hadoop2:50091</value>

</property>

?

?

4)、 map-site.xml 指定mr運(yùn)行在yarn平臺(tái)上，屬于resourcemanager的配置

mv mapred-site.xml.template mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

?

5)、yarn-site.xml 指定YARN的老大（ResourceManager）的地址，reducer獲取數(shù)據(jù)的方式

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop1</value>

</property>

?

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

?

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop1:8088</value>

</property>

?

這個(gè)端口可以修改

?

6)、配置slaves

注意：slaves里的配置是start-*.sh啟動(dòng)腳本要讀取集群的配置文件。如果不配置，就會(huì)運(yùn)行單機(jī)版本的。

默認(rèn)是localhost

hadoop3，4，5是DataNode。

hadoop3

hadoop4

hadoop5

----------------------

注意：此時(shí)namenode節(jié)點(diǎn)已經(jīng)可以初始化。可以單獨(dú)啟動(dòng)namenode，DataNode每啟動(dòng)一臺(tái)，想namenode注冊(cè)一臺(tái)。NameNode初始化后，可以不用 start-all.sh【學(xué)習(xí)下里面的寫(xiě)法，如何遍歷】或者下面的命令。

可以根據(jù)需要，到DataNode節(jié)點(diǎn)上去用命令啟動(dòng)。

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

?

7、scp application文件到其他節(jié)點(diǎn)

scp application hadoop2:/home/hadoop

.........

?

8、scp /etc/profile 到其他節(jié)點(diǎn)

sudo scp /etc/profile hadoop2:/etc/profile

..........

?

9、source /etc/profile 每個(gè)節(jié)點(diǎn)

source /etc/profile

?

10、格式化namenode（是對(duì)namenode進(jìn)行初始化）

hdfs namenode -format

Storage directory /home/hadoop/hadoop_data/dfs/name has been successfully formatted.

?

11、啟動(dòng)hadoop

hadoop1:

start-dfs.sh

12、啟動(dòng)YARN

hadoop1:

start-yarn.sh

13、驗(yàn)證是否成功

jsp

網(wǎng)頁(yè)訪(fǎng)問(wèn)：

http://192.168.18.131:50070 （HDFS管理界面）

http://192.168.18.131:8088/ （MR管理界面）

?

?

總結(jié)

以上是生活随笔為你收集整理的安装hadoop集群---resourcemanager和NameNode同一台机器上的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。