文章目錄

• 前言
• 一、Hadoop的三種運行環境
• 二、集群規劃
• 三.需要的基本軟件安裝
• 下期見

---

前言

Hadoop的運行環境可以是在Windows上,也可以在linux上,但在Windows上運行效率很低;

下面介紹Hadoop在linux的環境搭建;

一、Hadoop的三種運行環境

Hadoop運行環境有三種模式：本地模式，偽分布模式，完全分布式模式

本地模式（Standalone Mode）

默認情況下，Hadoop即處于該模式，用于開發和調式。【不推薦使用】

不對配置文件進行修改。

使用本地文件系統，而不是分布式文件系統.

Hadoop不會啟動NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等守護進程，Map()和Reduce()任務作為同一個進程的不同部分來執行的。

用于對MapReduce程序的邏輯進行調試，確保程序的正確。

偽分布模式（Pseudo-Distributed Mode）

Hadoop的守護進程運行在本機機器，模擬一個小規模的集群。【電腦配置不高的可以使用】　

在一臺主機模擬一個小規模的集群，在這種模式下Hadoop使用的是分布式文件系統，一般用于程序調試與測試.也可以說偽分布式是完全分布式 的一個特例。

在這種模式下，Hadoop使用的是分布式文件系統。在單機模式之上增加了代碼調試功能，允許檢查內存使用情況，HDFS輸入輸出，以及守護進程交互。Hadoop啟動NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager，這些守護進程都在同一臺機器上運行，是相互獨立的Java進程。

需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

格式化文件系統

完全分布式模式（Cluster Mode） <本次搭建的環境>

Hadoop的運行在由多臺主機搭建的集群上，是真正的生產環境。【電腦內存8G及以上就可以配置】

在這種模式下，Hadoop在所有的主機上安裝JDK、Hadoop、Zookeeper等軟件，組成相互連通的網絡。

主機間設置SSH免密碼登錄，把各從節點生成的公鑰添加到主節點的信任列表中。

需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh。 格式化文件系統

啟動Hadoop后的進程：NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode

二、集群規劃

三.需要的基本軟件安裝

VMware 安裝
由于版權原因各位自行下載;VM16即可

Linux 系統安裝
用的是CentOs7,
可以參考https://blog.csdn.net/weixin_45556441/article/details/114382989
資源下載 https://download.csdn.net/download/weixin_45556441/15676799

遠程連接工具安裝
直接安裝Xshell綠色版即可。
安裝地址 https://download.csdn.net/download/weixin_45556441/15676579

下期見

Hadoop環境搭建教學(二)完全分布式集群搭建；

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Hadoop环境搭建教学(一)运行环境,集群规划介绍；的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。