當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

發布時間：2023/12/14 编程问答 39 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Hadoop組件安裝及配置

- 一、配置環境變量
- - 1.1 配置Hadoop環境變量(三個節點)
- 二、配置Hadoop各組件
- - 2.1 修改hadoop-env.sh、yarn-env.sh
  - 2.2 （3）修改core-site.xml 文件。
  - 2.3 （4）修改yarn-site.xml 文件
  - 2.4（5）修改hdfs-site.xml 文件
  - 2.5（6）修改mapred-site.xml
  - 2.6（7）修改salves, 設置節點文件
  - 2.7 vi master文件，添加主節點master
- 三、格式化HDFS（master）
- 四、啟動集群
- 五、訪問集群Web UI
- - HDFS監控
  - YARN監控

用VMware虛擬機安裝Linux centos7系統

Hadoop集群搭建及配置〇 —— Hadoop組件獲取 & 傳輸文件

Hadoop集群搭建及配置① —— 克隆節點

Hadoop集群搭建及配置② —— 網絡IP配置，連接網絡

Hadoop集群搭建及配置③ —— 基礎環境搭建

Hadoop集群搭建及配置④ —— JDK簡介及其安裝

Hadoop集群搭建及配置⑤ —— Zookeeper 講解及安裝

Hadoop集群搭建及配置⑥ —— Hadoop組件安裝及配置

Hadoop集群搭建及配置⑦—— Spark&Scala安裝配置

Hadoop集群搭建及配置⑧——Hbase的安裝配置

一、配置環境變量

創建工作目錄： mkdir –p /usr/hadoop 解壓 hadoop： tar -zxvf /home/master/Downloads/hadoop-2.7.3.tar.gz -C /usr/hadoop/

1.1 配置Hadoop環境變量(三個節點)

vi /etc/profile# HADOOP export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/binsource /etc/profile

二、配置Hadoop各組件

hadoop的各個組件的都是使用XML進行配置，這些文件存放在hadoop的etc/hadoop目錄下。
Hadoop配置涉及的文件有7個: core-site.xml 、hadoop-env.sh 、yarn-env.sh 、mapred-site.xml、yarn-site.xml 、slaves 、hdfs site.xml。這些文件都在/usr/hadoop/hadoop-2.7.3/etc/hadoop/目錄下，首先要進人該目錄，依次修改配置文件如下。

2.1 修改hadoop-env.sh、yarn-env.sh

(1) 修改hadoop-env.sh 文件。該文件是Hadoop運行基本環境的配置，需要修改為JDK的實際位置。故在該文件中修改JAVA_ HOME值為本機安裝位置。

vi hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_171

(2) 修改 yarn-env.sh 文件。該文件是YARN框架運行環境的配置，同樣需要修改JDK所在位置。在該文件中修改JAVA_ HOME值為本機安裝位置。

vi yarn-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_171

2.2 （3）修改core-site.xml 文件。

這個Hadoop的核心配置文件,這里需要配置兩個屬性: fs.defaultFS 配置了Hadoop的HDFS系統的命名，位置為主機的8020端口，這里需要替換 hdfs://master:8020 中的master，改名稱為NameNode所在機器的機器名; hadoop.tmp.dir 配置了Hadoop的臨時文件的位置。添加內容如下面所示。

core-site.xml 文件在<configuration> </configuration>中加入代碼!

<property><name>fs.default.name</name><value>hdfs://master:8020</value><description>指定namenode的地址</description> </property> <property><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/hadoop-2.7.3/tmp</value><description>用來指定使用hadoop時產生文件的存放目錄</description> </property> <property><name>io.file.buffer.size</name><value>131072</value><description>流文件的緩沖區大小為128K</description> </property> <property><name>fs.checkpoint.period</name><value>60</value><description>動態檢查的間隔時間設置</description> </property> <property><name>fs.checkpoint.size</name><value>67108864</value><description>用日志文件大小64M</description> </property>

2.3 （4）修改yarn-site.xml 文件

該文件為YARN框架的配置，在最開始命名了一個yarn.resourcemanager.hostname 的變量，在后面YARN的相關配置中就可以直接引用該變量了，其他配置保持不變即可。

<property><name>yarn.resourcemanager.hostname</name><value>master</value> </property> <property><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value> </property> <property><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value> </property> <property><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value> </property> <property><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value> </property> <property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value> </property> <property><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value> </property> <property><name>yarn.nodemanager.local-dirs</name><value>/data/hadoop/yarn/local</value> </property> <property><name>yarn.log-aggregation-enable</name><value>true</value> </property> <property><name>yarn.nodemanager.remote-app-log-dir</name><value>/data/tmp/logs</value></property> <property> <name>yarn.log.server.url</name> <value>http://master:19888/jobhistory/logs/</value> <description>URL for job history server</description> </property> <property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> <property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value> </property> <property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value> </property> <property><name>yarn.scheduler.maximum-allocation-mb</name><value>4096</value> </property> <property><name>mapreduce.map.memory.mb</name><value>2048</value> </property> <property><name>mapreduce.reduce.memory.mb</name><value>2048</value> </property> <property><name>yarn.nodemanager.resource.cpu-vcores</name><value>1</value> </property>

2.4（5）修改hdfs-site.xml 文件

這個是HDFS相關的配置文件，dfs.namenode.name.dir 和dfs.datanode.data.dir分別指定了NameNode 元數據和DataNode 數據存儲位置。
dfs.namenode.secondaryttp-address 配置的是SecondaryNameNode的地址，同樣需要注意修改master為實際SecondaryNameNode地址。dfs.replication 配置了文件塊的副本數，默認為3個，這里要改為2個。

<property><name>dfs.replication</name><value>2</value><description>缺省的塊復制數量</description> </property> <property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value><description>存貯在本地的主節點數據鏡像的目錄,作為主節點的冗余備份</description><final>true</final> </property> <property><name>dfs.datenode.date.dir</name><value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value><description>數據節點的塊本地存放目錄</description><final>true</final> </property> <property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value><description>secondarynamenode的web端口號</description> </property> <property> <name>dfs.webhdfs.enabled</name><value>true</value><description>web訪問hdfs</description> </property>

2.5（6）修改mapred-site.xml

這個是MapReduce的相關配置，由于Hadoop 2.x使用了YARN框架，所以必須在 mapreduc.framework.name 屬性下配置YARN。mapreduce jobhistory.address 和mapreduce.jobhistoryserver.webapp.address 是JobHistoryserver的相關配置，即運行MapReduce任務的日志相關服務，這里同樣需要注意修改master為實際服務所在機器的機器名。

hadoop是沒有這個文件的，需要將mapred-site.xml.template復制為mapred-site.xml。

cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <property><name>mapreduce.framework.name</name><value>yarn</value> </property>  <property><name>mapreduce.jobhistory.address</name><value>master:10020</value> </property> <property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value> </property>

2.6（7）修改salves, 設置節點文件

修改slaves文件。該文件里面保存有slave節點的信息，在slaves文件里面添加

vi slaves #添加子節點刪除 localhost，添加： slave1 slave2

2.7 vi master文件，添加主節點master

設置好Hadoop組件分發給文件給從節點slave

scp -r /usr/hadoop root@slave1:/usr/ scp -r /usr/hadoop root@slave2:/usr/

三、格式化HDFS（master）

做完Hadoop的所有配置后，即可執行格式化NameNode操作，該操作會在NameNode所在機器初始化一些 HDFS的相關配置，并且該操作在集群搭建過程中只需執行一次，執行格式化之前可以先配置環境變量。

格式化hdfs:的namenode hadoop namenode -format

當出現“Exiting with status 0”的時候，表明格式化成功。

四、啟動集群

格式化完成之后即可啟動集群，啟動集群只需要在master節點直接進人Hadoop安裝目錄，分別執行如下所示的命令即可。

cd SHADOOP_ HOME

sbin/start-dfs.sh	啟動HDFS相關服務
sbin/start-yarn.sh	啟動YARN相關服務
sbin/mr jobhistory-daemon.sh start historyserver	/啟動日志相關服務

cd /usr/hadoop/hadoop-2.7.3sbin/start-dfs.sh # 啟動HDFS相關服務 sbin/start-yarn.sh # 啟動YARN相關服務 sbin/mr-jobhistory-daemon.sh start historyserver # 啟動日志相關服務JobHistoryServersbin/start-all.sh # 啟動所有 sbin/stop-dfs.sh # 關閉所有

master節點啟動

slave1節點啟動

slave2節點啟動

五、訪問集群Web UI

HDFS監控

輸入master:50070地址： 192.168.142.128:50070 # 進入hadoop界面

可以看到HDFS的監控頁面

Overview記錄了NameNode的啟動時間、版本號、編譯版本等-些基本信息。

Summary是集群信息，提供了當前集群環境的一些有用信息，從圖中可知所有DataNode節點的基本存儲信息，例如硬盤大小以及有多少被HDFS使用等-些數據信息，同時還標注了當前集群環境中DataNode的信息，對活動狀態的DataNode也專門做了記錄。

NameNode Storage提供了NameNode的信息，最后的State標示此節點為活動節點，可正常提供服務。

選擇"Utilities" →“Browse the file system”菜單命令可以查看HDFS上的文件信息。

YARN監控

在瀏覽器的地址欄輸人“http//master:8088"，, 即可看到YARN的監控界面。

操作完Hadoop，記得先關閉集群，避免操作不當引起節點掛掉。

master執行： sbin/stop-all.sh # 關閉所有集群

到此Hadoop集群的安裝就圓滿結束了。接下來的是對 Hbase、Spark等組件的配置與安裝。

總結

以上是生活随笔為你收集整理的Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：三人表决器实验报告总结_三人表决器实验报
下一篇： hadoop常见组件及其功能