linux系统——hadoop环境搭建
一、環(huán)境準(zhǔn)備
1）jdk（hadoop是由java語(yǔ)言編寫的）
2） 防火墻關(guān)閉（iptables,selinux）
3）設(shè)置主機(jī)名，以及ip映射
4）設(shè)置時(shí)鐘同步
5）設(shè)置免密登錄
6）windows配置ip映射
說(shuō)明：具體操作參照上兩篇博客（集群環(huán)境搭建和zookeeper搭建）
二、搭建hadoop集群
1、解壓hadoop的cdh預(yù)編譯版本的安裝包到esport/server
2、進(jìn)行hdfs和yarn中的節(jié)點(diǎn)規(guī)劃，具體哪些節(jié)點(diǎn)部署到哪臺(tái)機(jī)器上
3.修改三類配置文件(/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/路徑在這里插入代碼片下)
a) 第一類配置文件——shell腳本(保證hadoop可以加載到j(luò)dk)
vim hadoop-env.sh
b) 第二類配置文件——主角色
配置了4個(gè)xml文件（分別描述了4個(gè)模塊）
-
core-site.xml 是common模塊
vim core-site.xml
- hdfs-site.xml 是hdfs模塊
指定hdfs副本的數(shù)量，默認(rèn)是3，我們修改為2（包括源文件，總共是2） 指定secondaryManager的部署位置以及端口號(hào)
vim hdfs-site.xml- 指定mr運(yùn)行時(shí)的框架 執(zhí)行在yarn中運(yùn)行
先修改配置文件的名字將mapred-site.template.xml修改為mapred-site.xml
mv mapred-site.template.xml mapred-site.xml在該配置文件中配置
-
yarn-site.xml
vim yarn-site.xml
指定yarn的主角色的地址，以及nodemanager上運(yùn)行的附屬服務(wù)
c第三類配置文件——從角色
作用：配合一鍵啟動(dòng)腳本 到slaves指定的機(jī)器上啟動(dòng)hdfs和yarn集群的從角色
-通過(guò) dfs.hosts 指定的slaves文件中的機(jī)器才可以加入hadoop集群 白名單
上述操作完成主節(jié)點(diǎn)的配置，然后scp復(fù)制到其他機(jī)器上
cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ node-2:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ node-3:$PWD4、添加hadoop環(huán)境變量
vim /etc/profile5.啟動(dòng)前的初始化
說(shuō)明：首次啟動(dòng)集群時(shí)，需要針對(duì)HDFS進(jìn)行初始化操作，因?yàn)橛幸恍┪募夸洸淮嬖?#xff0c;該操作只需要進(jìn)行一次，通常在namenode所在節(jié)點(diǎn)進(jìn)行
該初始化操作（format）主要?jiǎng)?chuàng)建了hadoop運(yùn)行時(shí)依賴的一些文件夾和文件
注意：不能多次初始化，如果多次，主角色的角色將互不識(shí)別，之前的元數(shù)據(jù)丟失（因?yàn)槊恳淮纬跏蓟瘯?huì)自動(dòng)生成一個(gè)新的version，會(huì)有新的集群標(biāo)識(shí)clusterID）
6、集群?jiǎn)?dòng)
啟動(dòng)hdfs集群
啟動(dòng)yarn集群
start-yran.sh啟動(dòng)成功之后就可以訪問(wèn)hadoop提供的對(duì)應(yīng)的web-ui頁(yè)面
hdfs啟動(dòng)成功之后訪問(wèn)http://node02:50070（node02是namenode所在節(jié)點(diǎn)的名字或者ip）
yarn啟動(dòng)成功之后訪問(wèn)http://node02:8088 (node02是resourcemanager所在節(jié)點(diǎn)的名字)
總結(jié)
以上是生活随笔為你收集整理的linux系统——hadoop环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： linux pdf放到一页,linux
- 下一篇： Linux源码编译bison和flex