當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop环境搭建

發(fā)布時(shí)間：2023/12/20 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop环境搭建小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

零、碼仙勵(lì)志

一、百度云下載需要的軟件

?二、安裝VM

三、VM網(wǎng)絡(luò)設(shè)置

四、安裝CentOS7

五、master網(wǎng)絡(luò)配置

六、從master克隆slave0和slave1

七、slave0和slave1網(wǎng)絡(luò)配置

八、同步時(shí)間

九、Xshell5的安裝與使用

1.Xshell5的作用

2.Xshell5的安裝

3.Xshell5的使用?

十、Xftp5的安裝與使用

1.Xftp5的作用

2.Xftp5的安裝

3.Xftp5的使用

十一、關(guān)閉防火墻

十二、設(shè)置主機(jī)名

十三、hosts設(shè)置

十四、免密鑰登陸配置

十五、安裝JDK

十六、Hadoop安裝與環(huán)境配置

1.配置hadoop-env.sh

2.配置core-site.xml

3.配置hdfs-site.xml

4.配置yarn-site.xml

5.配置mapred-site.xml

6.配置slaves

7.配置Hadoop環(huán)境變量

8.新建Hadoop運(yùn)行時(shí)產(chǎn)生文件的儲(chǔ)存目錄

9.給slave0和slave1復(fù)制Hadoop

10.格式化文件系統(tǒng)

11.啟動(dòng)Hadoop

12.關(guān)閉Hadoop

零、碼仙勵(lì)志

如果決意去做一件事，就不要問自己和別人值不值得，心甘情愿才能理所當(dāng)然，理所當(dāng)然才能義無(wú)反顧

一、百度云下載需要的軟件

微信搜索公眾號(hào)碼海無(wú)際或掃描左側(cè)二維碼回復(fù)c001獲取，

如果不會(huì)請(qǐng)給我留言或者加QQ194760901找我索要

下載好以后里面有如下軟件

?二、安裝VM

直接雙擊就可以

安裝位置你開心就好，我這里是默認(rèn)的

到這里VM就安裝完成了

三、VM網(wǎng)絡(luò)設(shè)置

首先打開控制面板

雙擊下面我選中的內(nèi)容

給我選中的內(nèi)容打勾并且雙擊

然后按照我下面的配置來(lái)操作

接下來(lái)打開VM虛擬機(jī)

按照我標(biāo)的序號(hào)來(lái)

到這里VM網(wǎng)絡(luò)就設(shè)置好了

四、安裝CentOS7

把虛擬機(jī)名稱改為master，安裝位置你開心就好

按照我的配置來(lái)，把多余的移除了，這樣可以保證虛擬機(jī)運(yùn)行的速度

然后等待就好了，時(shí)間有點(diǎn)長(zhǎng)

不要?jiǎng)?#xff0c;繼續(xù)等待

設(shè)置為中文，你要是會(huì)其他語(yǔ)言當(dāng)我沒說(shuō)

你可以從這里選擇安裝圖形用戶界面，我沒選

這倆個(gè)都需要設(shè)置，設(shè)置完一定要記住

設(shè)置好就等待吧，時(shí)間有點(diǎn)長(zhǎng)，不對(duì)，是超級(jí)長(zhǎng)

然后重啟

輸入用戶名和密碼登陸

出來(lái)這個(gè)就成功了

五、master網(wǎng)絡(luò)配置

登陸成功直接輸入下面命令然后回車會(huì)出現(xiàn)下面內(nèi)容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把里面的內(nèi)容修改成下面的內(nèi)容

按鍵盤i可以修改，修改好以后先按鍵盤Esc鍵，然后使用組合鍵Shift+:? 最后輸入wq然后回車就修改好了

如果看不清上面的看下面的

然后輸入下面的內(nèi)容重啟網(wǎng)路

service network restart

出現(xiàn)上面的內(nèi)容說(shuō)明重啟成功

然后ping一下自己的ip

ping 192.168.56.110

出現(xiàn)下面內(nèi)容就說(shuō)明成功了

這時(shí)你會(huì)發(fā)現(xiàn)虛擬機(jī)就跟喝了脈動(dòng)似的，根本停不下來(lái)，其實(shí)按Ctrl+c就可以停下來(lái)了

然后輸入shutdown? now關(guān)機(jī)為下一步做準(zhǔn)備

六、從master克隆slave0和slave1

把虛擬機(jī)名稱修改為slave0，位置你開心就好

這樣slave0就復(fù)制好了，接下來(lái)用同樣的方法復(fù)制slave1，這里我就不在演示了

七、slave0和slave1網(wǎng)絡(luò)配置

首先打開slave0，然后登陸，密碼和master一樣

登陸成功直接輸入下面命令然后回車會(huì)出現(xiàn)下面內(nèi)容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把紅色標(biāo)記的地方修改成192.168.56.111，其余地方不修改

這樣slave0就配置好了，用同樣的方法配置slave1，把紅色標(biāo)記的地方修改成192.168.56.112

八、同步時(shí)間

首先先把三臺(tái)虛擬機(jī)關(guān)機(jī)

這樣一臺(tái)的就設(shè)置好了，另外倆臺(tái)類似，我這里就不再演示

九、Xshell5的安裝與使用

1.Xshell5的作用

可以同時(shí)連接多臺(tái)服務(wù)器，將多臺(tái)服務(wù)器連接在一臺(tái)機(jī)器上操作，這樣就不用在每臺(tái)服務(wù)器上進(jìn)行操作，方便遠(yuǎn)程操作服務(wù)器；主要是對(duì)服務(wù)器進(jìn)行命令操作

2.Xshell5的安裝

直接雙擊

安裝位置你開心就好

到這里就安裝成功了

3.Xshell5的使用

名稱隨意，不過最好有意義；主機(jī)輸入端口號(hào)

注意：鏈接之前記得把虛擬機(jī)開機(jī)

鏈接時(shí)需要輸入用戶名和密碼，出現(xiàn)下面的內(nèi)容就成功了

另外倆臺(tái)操作一樣，我這里不在演示

十、Xftp5的安裝與使用

1.Xftp5的作用

可以同時(shí)連接多臺(tái)服務(wù)器，將多臺(tái)服務(wù)器連接在一臺(tái)機(jī)器上操作，這樣就不用在每臺(tái)服務(wù)器上進(jìn)行操作，方便遠(yuǎn)程操作服務(wù)器；主要是對(duì)服務(wù)器進(jìn)行文件傳輸操作

2.Xftp5的安裝

直接雙擊

安裝位置你開心就好

到這里就安裝成功了

3.Xftp5的使用

配置完下面的不要點(diǎn)確定，點(diǎn)選項(xiàng)

出現(xiàn)下面內(nèi)容就說(shuō)明成功了

另外倆臺(tái)操作類似，我這里就不演示了

十一、關(guān)閉防火墻

首先打開并登陸master服務(wù)器

先查看防火墻狀態(tài)

systemctl status firewalld.service

?我標(biāo)記的內(nèi)容說(shuō)明防火墻此時(shí)是開啟狀態(tài)

關(guān)閉防火墻

systemctl stop firewalld.service

該命令輸入和執(zhí)行后，終端不會(huì)有輸出，要檢查是否執(zhí)行成功，可以再查看一次防火墻狀態(tài)

出現(xiàn)我標(biāo)記的內(nèi)容說(shuō)明關(guān)閉防火墻成功了

但是重啟服務(wù)器時(shí)防火墻還會(huì)啟動(dòng)，所以還需要輸入下面命令，防止重啟服務(wù)器防火墻啟動(dòng)

systemctl disable firewalld.service

這樣master的防火墻就關(guān)閉成功了，另外倆臺(tái)也一樣，我這里不做演示

十二、設(shè)置主機(jī)名

先在master服務(wù)器上操作’，輸入下面命令

vi /etc/sysconfig/network

修改成下面的內(nèi)容

如果看不清上面請(qǐng)看下面

記得要把原來(lái)的內(nèi)容刪除掉?

然后重新啟動(dòng)該主機(jī)，就會(huì)發(fā)現(xiàn)主機(jī)名被修改了

十三、hosts設(shè)置

十四、免密鑰登陸配置

首先在master服務(wù)器輸入下面命令

ssh-keygen -t rsa

然后按四次回車，出現(xiàn)下面內(nèi)容

然后輸入下面命令進(jìn)入ssh文件夾

cd ~/.ssh

輸入下面命令可以看文件夾里面的內(nèi)容

ls -l

然后輸入下面命令把公鑰文件發(fā)送到自己和其它服務(wù)器

發(fā)送給自己

ssh-copy-id -i id_rsa.pub root@master

輸入yes?

輸入密碼

成功后出現(xiàn)下面內(nèi)容

然后再分別發(fā)送給slave0和slave1

驗(yàn)證是否成功

在master服務(wù)器輸入下面的命令，都不需要輸入密碼，就說(shuō)明成功了,注意每執(zhí)行完一條命令都用exit退出一下再執(zhí)行下一條

ssh master ssh slave0 ssh slave1

十五、安裝JDK

首先在master服務(wù)器的usr/local目錄下新建一個(gè)java文件夾，用下面命令就可以完成

mkdir /usr/local/java

然后用Xftp連接master服務(wù)器，打開usr/local/java這個(gè)目錄，把jdk-8u162-linux-x64.tar復(fù)制進(jìn)去

接著用下面的命令進(jìn)入到該目錄

cd /usr/local/java

接著用下面的命令進(jìn)行解壓

tar -zxvf jdk-8u162-linux-x64.tar.gz

然后就解壓好了

接下來(lái)開始配置環(huán)境變量，先用cd命令回到總目錄

輸入下面命令開始配置

vi /root/.bash_profile

按照我的配置來(lái)

看不清上面看下面

然后保存退出輸入下面內(nèi)容使環(huán)境變量生效

source /root/.bash_profile

然后輸入java、javac和java -version驗(yàn)證，如果都出現(xiàn)一大堆代碼說(shuō)明配置成功了，如果其中有一個(gè)或多個(gè)出現(xiàn)不是內(nèi)部或外部命令，也不是可運(yùn)行的程序或批處理文件等類似語(yǔ)句，就說(shuō)明配置失敗了，需要重新配置jdk環(huán)境

這樣就安裝好master服務(wù)器的jdk了，但是還沒有安裝好slave0和slave1的jdk,我們可以用下面命令把master中的jdk復(fù)制到slave0上面

scp -r /usr/local/java root@slave0:/usr/local

這時(shí)已經(jīng)把jdk復(fù)制到slave0了，但是slave0的環(huán)境變量還沒有配置，我們同樣可以使用下面命令來(lái)復(fù)制環(huán)境變量

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中輸入下面內(nèi)容使環(huán)境變量生效

source /root/.bash_profile

這樣?slave0中的jdk就安裝成功了，slave1，與slave0類似，這里不做演示

十六、Hadoop安裝與環(huán)境配置

先用下面的命令給opt文件夾中新建一個(gè)hapoop文件夾

mkdir /opt/hadoop

然后把hadoop-2.7.5復(fù)制到hadoop文件夾中

使用下面命令進(jìn)入到hadoop文件夾

cd /opt/hadoop

使用下面命令把hadoop-2.7.5進(jìn)行解壓

tar -zxvf hadoop-2.7.5.tar.gz

使用下面命令把hadoop-2.7.5文件夾重命名成hadoop

mv hadoop-2.7.5 hadoop

1.配置hadoop-env.sh

該文件設(shè)置的是Hadoop運(yùn)行時(shí)需要的環(huán)境變量。JAVA_HOME是必須設(shè)置的，即使我們當(dāng)前的系統(tǒng)設(shè)置了JAVA_HOME，它也是不認(rèn)識(shí)的，因?yàn)镠adoop即使是在本機(jī)上執(zhí)行，它也是把當(dāng)前執(zhí)行的環(huán)境當(dāng)成遠(yuǎn)程服務(wù)器。所以這里設(shè)置的目的是確保Hadoop能正確的找到j(luò)dk。

先用cd回到主目錄

然后輸入下面命令進(jìn)入該文件所在的文件夾

cd /opt/hadoop/hadoop/etc/hadoop

用ls就可以看到該文件

然后輸入下面命令打開該文件

vi hadoop-env.sh

然后修改成下面的內(nèi)容

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

2.配置core-site.xml

core-site.xm所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可

vi core-site.xml

接著把下面命令寫入<configuration></configuration>中，注釋不用寫

<property><name>fs.defaultFS</name><value>hdfs://master:9000</value> </property>  <property><name>hadoop.tmp.dir</name><value>/opt/hadoop/hadoopdata</value> </property>

3.配置hdfs-site.xml

hdfs-site.xml所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可

vi hdfs-site.xml

接著把下面命令寫入<configuration></configuration>中，注釋不用寫

<property><name>dfs.replication</name><value>1</value> </property>

4.配置yarn-site.xml

yarn-site.xml所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可

vi yarn-site.xml

接著把下面命令寫入<configuration></configuration>中，里面自帶的注釋不用刪除

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property><name>yarn.resourcemanager.address</name><value>master:18040</value> </property> <property><name>yarn.resourcemanager.scheduler.address</name><value>master:18030</value> </property> <property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:18025</value> </property> <property><name>yarn.resourcemanager.admin.address</name><value>master:18141</value> </property> <property><name>yarn.resourcemanager.webapp.address</name><value>master:18088</value> </property>

5.配置mapred-site.xml

還是在/opt/hadoop/hadoop/etc/hadoop目錄下(也就是上個(gè)文件所在的目錄)，有一個(gè)叫?mapred-site.xml.template的文件，把它復(fù)制到/opt/hadoop/hadoop/etc/hadoop目錄下(也就是mapred-queues.xml.template文件所在的目錄)重命名為mapred-site.xml，命令如下

mv mapred-site.xml.template mapred-site.xml

然后用下面命令打開該文件

vi mapred-site.xml

接著把下面命令寫入<configuration></configuration>中，注釋不用寫

<property><name>mapreduce.framework.name</name><value>yarn</value> </property>

6.配置slaves

slaves所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可

vi slaves

先把localhost這行刪除，然后把下面代碼寫進(jìn)去

master slave0 slave1

7.配置Hadoop環(huán)境變量

先用cd命令回到總目錄

輸入下面命令開始配置

vi /root/.bash_profile

把下面命令輸入進(jìn)去

export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后保存退出輸入下面內(nèi)容使環(huán)境變量生效

source /root/.bash_profile

8.新建Hadoop運(yùn)行時(shí)產(chǎn)生文件的儲(chǔ)存目錄

先用cd命令回到總目錄

接著用下面命令新建目錄

mkdir /opt/hadoop/hadoopdata

9.給slave0和slave1復(fù)制Hadoop

用下面命令就可以把master的Hadoop復(fù)制到slave0上

scp -r /opt/hadoop root@slave0:/opt

用下面命令把master的Hadoop復(fù)制到slave1上

scp -r /opt/hadoop root@slave1:/opt

接著用下面命令把master的環(huán)境變量復(fù)制到slave0上

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中輸入下面內(nèi)容使環(huán)境變量生效

source /root/.bash_profile

slave1與slave0類似，這里不做演示

10.格式化文件系統(tǒng)

在master中輸入下面命令格式化文件系統(tǒng)，其余倆臺(tái)服務(wù)器不用，注意該命令只能使用一次

hadoop namenode -format

11.啟動(dòng)Hadoop

在master服務(wù)器上，先用下面命令進(jìn)入Hadoop的sbin目錄

cd /opt/hadoop/hadoop/sbin

然后輸入下面命令啟動(dòng)

start-all.sh

在三臺(tái)服務(wù)器分別輸入jps可以判斷是否啟動(dòng)成功，出現(xiàn)下面內(nèi)容說(shuō)明成功

12.關(guān)閉Hadoop

只需要在master服務(wù)器輸入下面命令即可

stop-all.sh

總結(jié)

以上是生活随笔為你收集整理的Hadoop环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： ARM架构——面试了菊厂，中兴，MTK，
下一篇：浪漫情人节|C语言画心型