一、環境準備

1）jdk（hadoop是由java語言編寫的）
2） 防火墻關閉（iptables,selinux）
3）設置主機名，以及ip映射
4）設置時鐘同步
5）設置免密登錄
6）windows配置ip映射
說明：具體操作參照上兩篇博客（集群環境搭建和zookeeper搭建）

二、搭建hadoop集群

1、解壓hadoop的cdh預編譯版本的安裝包到esport/server

2、進行hdfs和yarn中的節點規劃，具體哪些節點部署到哪臺機器上

3.修改三類配置文件(/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/路徑在這里插入代碼片下)

a) 第一類配置文件——shell腳本(保證hadoop可以加載到jdk)

vim hadoop-env.sh

b) 第二類配置文件——主角色
配置了4個xml文件（分別描述了4個模塊）

• core-site.xml 是common模塊

  vim core-site.xml

• hdfs-site.xml 是hdfs模塊

指定hdfs副本的數量，默認是3，我們修改為2（包括源文件，總共是2） 指定secondaryManager的部署位置以及端口號

vim hdfs-site.xml

• 指定mr運行時的框架 執行在yarn中運行

先修改配置文件的名字將mapred-site.template.xml修改為mapred-site.xml

mv mapred-site.template.xml mapred-site.xml

在該配置文件中配置

• yarn-site.xml

  vim yarn-site.xml

指定yarn的主角色的地址，以及nodemanager上運行的附屬服務

c第三類配置文件——從角色

vim slaves

作用：配合一鍵啟動腳本 到slaves指定的機器上啟動hdfs和yarn集群的從角色
-通過 dfs.hosts 指定的slaves文件中的機器才可以加入hadoop集群 白名單

上述操作完成主節點的配置，然后scp復制到其他機器上

cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ node-2:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ node-3:$PWD

4、添加hadoop環境變量

vim /etc/profile

5.啟動前的初始化

說明：首次啟動集群時，需要針對HDFS進行初始化操作，因為有一些文件目錄不存在，該操作只需要進行一次，通常在namenode所在節點進行
該初始化操作（format）主要創建了hadoop運行時依賴的一些文件夾和文件
注意：不能多次初始化，如果多次，主角色的角色將互不識別，之前的元數據丟失（因為每一次初始化會自動生成一個新的version，會有新的集群標識clusterID）

hadoop namenode -format

6、集群啟動
啟動hdfs集群

start-dfs.sh

啟動yarn集群

start-yran.sh

啟動成功之后就可以訪問hadoop提供的對應的web-ui頁面
hdfs啟動成功之后訪問http://node02:50070（node02是namenode所在節點的名字或者ip）
yarn啟動成功之后訪問http://node02:8088 (node02是resourcemanager所在節點的名字)

總結

以上是生活随笔為你收集整理的linux系统——hadoop环境搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。