在開(kāi)始之前，確保你具備以下條件：
1，完成了大數(shù)據(jù)環(huán)境基礎(chǔ)配置(1)
2，完成了大數(shù)據(jù)環(huán)境基礎(chǔ)配置(2)
3，如果你完成了前兩項(xiàng)內(nèi)容，那么現(xiàn)在你應(yīng)該擁有這個(gè)文件。

4，你現(xiàn)在配置好了3臺(tái)虛擬主機(jī)，主機(jī)名和靜態(tài)ip如下：
第1臺(tái)主機(jī)名為hadoop01 靜態(tài)ip地址為192.168.100.201
第2臺(tái)主機(jī)名為hadoop02 靜態(tài)ip地址為192.168.100.202
第3臺(tái)主機(jī)名為hadoop03 靜態(tài)ip地址為192.168.100.203

5，你的hadoop01為局域網(wǎng)yum源，且hadoop02,hadoop03正確配置yum源。
6，三臺(tái)虛擬機(jī)的時(shí)鐘是同步的。
7，三臺(tái)虛擬機(jī)分別關(guān)閉了防火墻，且關(guān)閉了selinux服務(wù)

如果你具備以上條件，那么你可以繼續(xù)進(jìn)行了。

上傳并解壓制作好的hadoop包

在每個(gè)虛擬機(jī)都創(chuàng)建兩個(gè)目錄，servers目錄裝解壓的軟件，softwares目錄裝安裝包

mkdir -p /export/softwares mkdir -p /export/servers

上傳hadoop包到hadoop01的/export/softwares目錄下

把它解壓到剛才創(chuàng)建的servers目錄下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/

查看Hadoop支持的壓縮方式以及本地庫(kù)

進(jìn)入解壓好的hadoop目錄

cd /export/servers/hadoop-2.6.0-cdh5.14.0

輸入以下命令

bin/hadoop checknative

如果出現(xiàn)openssl為false，那么所有虛擬機(jī)都安裝openssl即可

yum -y install openssl-devel

安裝完畢后，再次執(zhí)行命令

bin/hadoop checknative

所有的都是true，ok了。

修改配置文件core-site.xml

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-site.xml

<configuration>新增如下內(nèi)容：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value></property><!-- 緩沖區(qū)大小，實(shí)際工作中根據(jù)服務(wù)器性能動(dòng)態(tài)調(diào)整 --><property><name>io.file.buffer.size</name><value>4096</value></property><!-- 開(kāi)啟hdfs的垃圾桶機(jī)制，刪除掉的數(shù)據(jù)可以從垃圾桶中回收，單位分鐘 --><property><name>fs.trash.interval</name><value>10080</value></property> </configuration>

保存退出

修改配置文件hdfs-site.xml

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hdfs-site.xml

<configuration>新增如下內(nèi)容：

<configuration><!-- NameNode存儲(chǔ)元數(shù)據(jù)信息的路徑，實(shí)際工作中，一般先確定磁盤(pán)的掛載目錄，然后多個(gè)目錄用，進(jìn)行分割 --> <!-- 集群動(dòng)態(tài)上下線 <property><name>dfs.hosts</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value></property><property><name>dfs.hosts.exclude</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value></property>--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop01:50090</value></property><property><name>dfs.namenode.http-address</name><value>hadoop01:50070</value></property><property><name>dfs.namenode.name.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value></property><!-- 定義dataNode數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)位置，實(shí)際工作中，一般先確定磁盤(pán)的掛載目錄，然后多個(gè)目錄用，進(jìn)行分割 --><property><name>dfs.datanode.data.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value></property><property><name>dfs.namenode.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value></property><property><name>dfs.namenode.checkpoint.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value></property><property><name>dfs.namenode.checkpoint.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property> <property><name>dfs.blocksize</name><value>134217728</value></property> </configuration>

保存退出

修改配置文件hadoop-env.sh

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hadoop-env.sh

找到JAVA_HOME

這里的${JAVA_HOME}可以改為你的jdk絕對(duì)路徑

改完之后，保存退出。

修改配置文件mapred-site.xml

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

<configuration>中添加如下內(nèi)容

<property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property>

添加完成后，保存退出。

修改配置文件yarn-site.xml

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim yarn-site.xml

<configuration>中添加如下內(nèi)容

<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

保存退出

修改slaves配置文件

在hadoop01執(zhí)行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim slaves

替換為如下內(nèi)容

hadoop01 hadoop02 hadoop03

保存退出

創(chuàng)建文件存放目錄

創(chuàng)建以下目錄

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

把配置好的hadoop復(fù)制到其它虛擬機(jī)上

cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ hadoop02:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ hadoop03:$PWD

配置環(huán)境變量

注意：在每一臺(tái)虛擬機(jī)上都要配置

vim /etc/profile.d/hadoop.sh

輸入以下內(nèi)容：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，輸入下面的命令，使配置立即生效

source /etc/profile

啟動(dòng)hadoop集群

第一次啟動(dòng)前需要格式化：

hdfs namenode -format

單個(gè)節(jié)點(diǎn)逐一啟動(dòng)

在主節(jié)點(diǎn)上使用以下命令啟動(dòng) HDFS NameNode：

hadoop-daemon.sh start namenode

在每個(gè)從節(jié)點(diǎn)上使用以下命令啟動(dòng) HDFS DataNode：

hadoop-daemon.sh start datanode

在主節(jié)點(diǎn)上使用以下命令啟動(dòng) YARN ResourceManager：

yarn-daemon.sh start resourcemanager

在每個(gè)從節(jié)點(diǎn)上使用以下命令啟動(dòng) YARN nodemanager：

yarn-daemon.sh start nodemanager

以上腳本位于$HADOOP_PREFIX/sbin/目錄下。如果想要停止某個(gè)節(jié)點(diǎn)上某個(gè)角色，只需要把命令中的start 改為stop 即可。

腳本一鍵啟動(dòng)HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登錄，則可以使用程序腳本啟動(dòng)所有Hadoop 兩個(gè)集群的相關(guān)進(jìn)程，在主節(jié)點(diǎn)所設(shè)定的機(jī)器上執(zhí)行。
啟動(dòng)集群
hadoop01節(jié)點(diǎn)上執(zhí)行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/ sbin/start-dfs.sh sbin/start-yarn.sh

停止集群：沒(méi)事兒不要去停止集群

sbin/stop-dfs.sh sbin/stop-yarn.sh

腳本一鍵啟動(dòng)所有
一鍵啟動(dòng)集群(cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 再執(zhí)行下面的命令)

sbin/start-all.sh

一鍵關(guān)閉集群

sbin/stop-all.sh

瀏覽器查看啟動(dòng)頁(yè)面

瀏覽器輸入以下地址查看集群?jiǎn)?dòng)頁(yè)面

hdfs的訪問(wèn)地址
http://192.168.100.201:50070/dfshealth.html#tab-overview

yarn的訪問(wèn)地址
http://192.168.100.201:8088/cluster

總結(jié)

以上是生活随笔為你收集整理的Linux CentOS 大数据集群的基础配置(3) CHD分布式环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。