1 配置開發者本地hadoop環境

參考網址：https://blog.csdn.net/songhaifengshuaige/article/details/79575308

1.1.下載hadoop3.0.0并配置環境變量

1.2.集成支持windows下運行的hadoop的bin

關于winutils:除了Hadoop安裝包和JDK外，還要下載的一個第三方工具是名為winutils的一套類庫，下載地址：https://github.com/steveloughran/winutils
注意：如果使用是hadoop-3.0.0，也要將winutils中的所有的dll等文件都覆蓋到hadoop目錄的bin子目錄中去。
解壓后的winutils目錄結構如下：

將上面的bin中的內容放到hadoop-3.0.0\bin中

1.3.配置hadoop-env.cmd

關于hadoop的配置，在hadoop目錄下的etc/hadoop下找到大量配置文件，文件后綴為sh的是Linux環境用的，cmd的就是windows的腳本，先要配置hadoop-env.cmd，這個文件（筆者電腦上的文件比如：D:\Installed\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd）唯一要配置的地方是： set JAVA_HOME=D:\Installed\jdk1.8.0_144

注意：
1、 這里的JAVA_HOME地址中不能有空格。否則會報錯。

1.4.配置core-site.xml

文件位置：D:\Installed\hadoop-3.0.0\etc\hadoop\core-site.xml,配置的文件內容是：

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property> </configuration>

1.5.配置hdfs-site.xml

該文件是一些與hdfs有關的配置項，這里別忘了預先建立好datanode 和 namenode兩個目錄，本例中它們在hadoop所在盤符下的本例中他們在hadoop所在盤符下的hadoop/data/dfs/目錄下。修改D:\Installed\hadoop-3.0.0\etc\hadoop\hdfs-site.xml。具體內容是：

<configuration><!-- 這個參數設置為1，因為是單機版hadoop --> <property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.namenode.name.dir</name><value>/D:/Installed/hadoop-3.0.0/data/namenode</value></property><property><name>fs.checkpoint.dir</name><value>/D:/Installed/hadoop-3.0.0/data/snn</value></property><property><name>fs.checkpoint.edits.dir</name><value>/D:/Installed/hadoop-3.0.0/data/snn</value></property><property><name>dfs.datanode.data.dir</name><value>/D:/Installed/hadoop-3.0.0/data/datanode</value></property> </configuration>

1.6.配置mapred-site.xml

配置的文件是：D:\Installed\hadoop-3.0.0\etc\hadoop\mapred-site.xml，具體內容是： <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

1.7.配置yarn-site.xml

配置的文件是：D:\Installed\hadoop-3.0.0\etc\hadoop\yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

1.8.運行hadoop

以管理員方式打開cmd，運行hadoop： cd D:\Installed\hadoop-3.0.0\bin （或者：進入hadoop的這個bin目錄，然后按著shift + 右鍵，點擊在此處打開命令，然后彈出cmd窗口） hadoop namenode –format #一定要先格式化hdfs

執行之后的效果是：

執行完成之后，在D盤下出現：

說明已經初始化完成了

啟動dfs和yarn,命令：

cd D:\Installed\hadoop-3.0.0\sbinstart-dfs.cmd #先啟動dfs start-yarn.cmd #再啟動yarnstart-all.cmd #等于上面兩條命令的組合 stop-dfs.cmd stop-yarn.cmd

運行完成之后，訪問地址：http://localhost:8088/

訪問：http://localhost:9870/dfshealth.html#tab-overview

總結

以上是生活随笔為你收集整理的配置开发者本地hadoop-3.0.0环境的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。