Hadoop的三種運(yùn)行模式

• 單機(jī)模式（Standalone,獨(dú)立或本地模式）:安裝簡(jiǎn)單,運(yùn)行時(shí)只啟動(dòng)單個(gè)進(jìn)程,僅調(diào)試用途；
• 偽分布模式（Pseudo-Distributed）:在單節(jié)點(diǎn)上同時(shí)啟動(dòng)namenode、datanode、secondarynamenode、resourcemanager 、nodemanager等5個(gè)進(jìn)程,模擬分布式運(yùn)行的各個(gè)節(jié)點(diǎn) ；
• 完全分布式模式（Fully-Distributed） :正常的Hadoop集群,由多個(gè)各司其職的節(jié)點(diǎn)構(gòu)成

Hadoop安裝步驟

配置主機(jī)名、網(wǎng)絡(luò)、編輯hosts文件,重啟；

配置免密碼登陸，連接其他機(jī)器;

Hadoop安裝（下載解壓到預(yù)定目錄下）
tar -xzvf hadoop-2.7.7.tar.gz -C 目標(biāo)文件夾/hadoop- 2.7.2/

編輯文件（Hadoop解壓目錄下etc/hadoop/文件夾）

• 編輯該目錄下hadoop-env.sh、yarn-env.sh文件 ；
• 編輯該目錄下core-site.xml、hdfs-site.xml和mapred- site.xml、yarn-site.xml四個(gè)核心配置文件 ；

編輯masters、slaves（或者workers）文件；

復(fù)制hadoop文件夾到其他節(jié)點(diǎn)；

格式化HDFS ；

啟動(dòng)Hadoop

預(yù)備步驟-集群時(shí)鐘同步

• 自動(dòng)定時(shí)同步（設(shè)置系統(tǒng)定時(shí)任務(wù)）

1. crontab -e （vi操作，i插入，ESC，:wq） 2. 0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

• 手動(dòng)同步

/usr/sbin/ntpdate cn.pool.ntp.or

Step0：安裝jdk

上傳jdk-7u71-linux-x64(壓縮文件)到/usr/java；
不建議使用高版本JDK,查看Hadoop兼容的JDK版本;

解壓文件（root用戶操作）；

cd /usr/javatar –xzvf /usr/java/jdk-7u71-linux-x64.gz

修改個(gè)人用戶配置文件，vim ~/.bash_profile，在文件尾部添加（i進(jìn)入編輯）

export JAVA_HOME=/usr/java/jdk1.7.0_71export PATH= $JAVA_HOME/bin: $ PATH

保存退出（ESC 退出編輯，:wq 存盤(pán)退出）

使(用戶)配置生效，source ~/.bash_profile

測(cè)試，java –version

Step1：網(wǎng)絡(luò)設(shè)置

• 橋接模式:VMnet0
• 主機(jī)模式:VMnet1
• NAT模式:VMnet8

關(guān)閉防火墻 (root用戶)

chkconfig iptables off (6.x指令) systemctl disable firewalld (7.x指令）

修改/etc/sysconfig/network-scripts/相應(yīng)的網(wǎng)絡(luò)配置

修改機(jī)器名（root用戶）

#hostnamectl set-hostname <機(jī)器名> (7.x指令） #hostname <機(jī)器名> (6.x指令) #vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 #主機(jī)名

保存退出，重啟終端，測(cè)試hostname

修改/etc/hosts （root用戶）
5.重啟網(wǎng)絡(luò)服務(wù)

systemctl restart network.service service network restart (6.x)

Step2:ssh免密碼登錄

Hadoop運(yùn)行過(guò)程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)
程，啟動(dòng)后，NameNode是通過(guò)SSH（Secure
Shell）來(lái)無(wú)密碼登錄啟動(dòng)和停止各個(gè)DataNode上
的各種守護(hù)進(jìn)程的。同理，DataNode上也能使用
SSH無(wú)密碼登錄到NameNode。

• 一般情況下，只需要從master單向SSH到slave

在各機(jī)器上執(zhí)行（在免密碼登陸的用戶下）ssh-keygen -b 1024 -t rsa 一路回車(chē)

在~/.ssh/下生成文件 id_rsa 、id_rsa.pub

生成密碼后輸入命令 ssh-copy-id hadoop

Step3:Hadoop安裝

上傳hadoop文件到節(jié)點(diǎn)/home/zkpk/hadoop目錄

解壓文件

– cd /home/zkpk/ – tar -zxvf hadoop-2.7.7.tar.gz

修改(Linux下)/etc/profile—（系統(tǒng)級(jí)環(huán)境設(shè)置,可選）

– vi /etc/profile #在文件最后添加以下語(yǔ)句 – export JAVA_HOME=/usr/java – export HADOOP_HOME=/home/zkpk/hadoop – export PATH=$JAVA_HOME/bin:$PATH::$HADOOP_HOME/bin – 保存退出 – source /etc/profile //切記修改后，使之立即生效 – 如果指定了用戶級(jí)的環(huán)境變量(.bash_profile),可不編輯；

Step4:修改配置文件

hadoop安裝目錄下的配置文件路徑，即$HADOOP_HOME/etc/hadoop

修改hadoop-env.sh、yarn-env.sh

• export JAVA_HOME=/usr/java/jdk1.7.0_71/
• 保存退出

配置core-site.xml，增加以下內(nèi)容

• master機(jī)器名的9000端口
• 集群數(shù)據(jù)目錄

– <property> – <name>fs.default.name</name> – <value>hdfs://hadoop0:9000</value> – </property> – <property> – <name>hadoop.tmp.dir</name> – <value>/home/zkpk/hadoopdata</value> – </property>

配置hdfs-site.xml

• 保存副本數(shù)量

– <property> – <name>dfs.replication</name> – <value>2</value> – </property>

配置mapred-site.xml

• 使用YARN進(jìn)行資源調(diào)度和任務(wù)管理

– <property> – <name> mapreduce.framework.name </name> – <value>yarn</value> – </property>

配置yarn-site.xml

– <property> – <name>yarn.resourcemanager.hostname</name> – <value>hadoop0</value> – </property> – <property> – <name> yarn.nodemanager.aux-services</name> – <value>mapreduce_shuffle</value> – </propert>

Step5:編輯masters、slaves（或者workers）文件

配置masters

• 管理NN機(jī)器名稱

Hadoop0

配置slaves（workers）,可以包含master

• 數(shù)據(jù)節(jié)點(diǎn)DN的機(jī)器名稱

hadoop1 hadoop2 hadoop3

• 說(shuō)明：一行一個(gè)主機(jī)名

Step6:復(fù)制hadoop文件夾到其他節(jié)點(diǎn)

把hadoop0的hadoop目錄、jdk目錄、/etc/hosts、/etc/profile復(fù)制到hadoop1，hadoop2、hadoop3節(jié)點(diǎn)

復(fù)制master機(jī)器的hadoop安裝目錄到slave機(jī)器的用戶目錄（slave的 /home/zkpk/hadoop-2.7.7）

#cd $HADOOP_HOME/.. scp -r hadoop-2.7.7 hadoop1:~/ scp -r hadoop-2.7.7 hadoop2:~/ scp -r hadoop-2.7.7 hadoop3:

Step7:格式化HDFS

第一次啟動(dòng)Hadoop前,必須先格式化namenode

cd $HADOOP_HOME /bin hdfs namenode –format

Step8:啟動(dòng)Hadoop

cd $HADOOP_HOME/sbin ./start-all.sh //啟動(dòng)所有 # 可分兩步啟動(dòng)： start-dfs.sh 、start-yarn.sh # 第一步啟動(dòng)文件系統(tǒng)，start-dfs.sh # 出錯(cuò)時(shí)，查看logs,檢查相關(guān)配置文件：hdfs-site.xml,core-site.xml # 第二步啟動(dòng)yarn計(jì)算框架，start-yarn.sh # 出錯(cuò)時(shí)，查看logs,檢查相關(guān)配置文件：yarn-site.xml,mapred-site.xml 停止Hadoop ~/hadoop-2.5.2/sbin/stop-all.sh 或者分兩步停止hadoop集群 可分兩步停止： start-yarn.sh、start-dfs.sh # 第一步停止yarn, stop-yarn.sh # 第二步停止文件系統(tǒng)，stop-dfs.sh 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Hadoop安装及配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。