一、環境準備

操作系統：CentOS-6.5-x86_64-minimal.iso

安裝包：

百度云：

?

系統安裝，和靜態ip配置，和實現SSH免密登錄示例，看前面的文章：

https://blog.csdn.net/xingkongtianma01/article/category/7680374

https://blog.csdn.net/xingkongtianma01/article/category/7680389

關閉防火墻：

先執行 命令： service iptables stop? ?（臨時生效）

再執行 命令：chkconfig iptables off??（永久生效）

（如果不關閉防火墻，就需要 多次開放專用的端口，配置文件：/etc/sysconfig/iptables ）

為了方便管理，更改下主機名HOSTNAME，可以不改（主機名稱更改之后，要重啟(reboot)才會生效）

改完主機名之后，要添加IP和主機名的映射關系（如果在配置文件中使用主機名，映射必須有）

?

二、服務器配置

1.在/usr目錄下創建安裝包存放目錄

2.將jdk和hadoop 的安裝包 導入進來

3.安裝JDK：

輸入命令：java -version，查看是否安裝了JDK，如果安裝了，但版本不適合的話，需要先卸載，再執行命令（rpm -ivh jdk-8u51-linux-x64.rpm），安裝我們的JDK

4.配置環境變量：

執行如下命令：

在最后位置添加 JAVA_HOME? JRE_HOME? CLASSPATH? PATH 的配置

export JAVA_HOME=/usr/java/jdk1.8.0_51/ export JRE_HOME=/usr/java/jdk1.8.0_51//jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export PATH

編輯完之后，執行命令??source /etc/profile? ??使配置生效

輸入命令：java -version? ? 查看剛剛的JDK配置是否生效

5.1? 安裝HADOOP：

解壓hadoop的安裝包

創建一個hadoop文件夾

將剛剛解壓的hadoop安裝文件夾移動到hadoop文件夾中并重命名

再執行如下命令：

在最后位置添加 HADOOP?的相關配置

export HADOOP_HOME=/usr/soft2019/hadoop/hadoop3.1 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"PATH=$PATH:$HADOOP_HOME/bin export PATH

編輯完之后，執行命令??source /etc/profile? ??使配置生效

5.2? 在root目錄下建立一些文件夾

mkdir /root/hadoop mkdir /root/hadoop/tmp mkdir /root/hadoop/var mkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/name mkdir /root/hadoop/dfs/data

6.1? 切換到??/usr/soft2019/hadoop/hadoop3.1/etc/hadoop/

6.2? 修改 core-site.xml

執行命令? vi?core-site.xml，在<configuration>添加

<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.default.name</name><value>hdfs://nodeHa:9000</value></property>

nodeHa就是我們前面配置的HOSTNAME

6.3? 修改 hadoop-env.sh

執行命令? vi?hadoop-env.sh，將${JAVA_HOME}?修改為自己的JDK路徑

6.4? 修改?hdfs-site.xml

執行命令? vi?hdfs-site.xml，在<configuration>添加

<property><name>dfs.name.dir</name><value>/root/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namesp ace and transactions logs persistently.</description> </property> <property><name>dfs.data.dir</name><value>/root/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNo de where it should store its blocks.</description> </property> <property><name>dfs.replication</name><value>2</value> </property> <property><name>dfs.permissions</name><value>false</value><description>need not permissions</description> </property>

6.5? 修改?mapred-site.xml

執行命令? vi?mapred-site.xml，在<configuration>添加

<property><name>mapred.job.tracker</name><value>nodeHa:9001</value> </property> <property><name>mapred.local.dir</name><value>/root/hadoop/var</value> </property> <property><name>mapreduce.framework.name</name><value>yarn</value> </property>

到此 Hadoop 的單機模式的配置就完成了。

?

7.1? 切換到??/usr/soft2019/hadoop/hadoop3.1/bin/

執行命令? ./hadoop namenode -format?，初始化hadoop

7.2? ?執行命令? jps? 查看目前啟動的進程

未啟動hadoop，所以沒有hadoop相關的進程

?

8.1? 切換到??/usr/soft2019/hadoop/hadoop3.1/sbin/

8.2? 修改?start-dfs.sh

執行命令? vi start-dfs.sh，在前面?添加如下代碼

、

HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

執行命令? ./start-dfs.sh??啟動HDFS

8.3? 修改?start-yarn.sh

執行命令? vi start-yarn.sh，在前面?添加如下代碼

執行命令? ./start-yarn.sh??啟動YARN

（或者不執行? ./start-dfs.sh? 和? ./start-yarn.sh? 命令，而是直接執行命令 ./start-all.sh? 一次性啟動多個hadoop相關的進程）

8.4? 執行命令? jps? 查看目前啟動的進程

8.5? 在瀏覽器中輸入??http://192.168.1.77:8088/cluster

8.6? 在瀏覽器中輸入??http://192.168.1.77:9870

到此。hadoop單機環境搭建就完成了。看似簡單，但實際配置起來還是要認真仔細。勤能補拙是良訓，我們一起加油！

總結

以上是生活随笔為你收集整理的Hadoop环境搭建(单机)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。