日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

hadoop入门-在windows上安装,测试hadoop

發布時間:2025/3/21 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop入门-在windows上安装,测试hadoop 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

上一篇簡單敘述了怎么樣在windows上編譯hadoop,接著上一篇,這篇敘述怎么樣安裝hadoop并進行簡單的驗證安裝是否正確。編譯的機器與安裝的機器分開。

我編譯的機器是windows7,安裝的機器是windows 2008 r2.

第一步:編譯完之后,會在target目錄下生成hadoop-2.2.0.tar.gz文件,將該文件解壓到一個目錄下面,然后將整個目錄拷貝到目標機器上,盡量選擇簡單的目錄,比如e:\hd

第二步:添加HADOOP_HOME到系統環境變量里,值為e:\hd.并將%HADOOP_HOME%\bin 添加到path里面。

第三步:配置hadoop

1.修改core_site.xml文件

<configuration>
?? <property>
????? <name>fs.defaultFS</name>
????? <value>hdfs://localhost:9000</value>
?? </property>
</configuration>

2.修改hdfs-site.xml文件

<configuration>
?? <property>
????? <name>dfs.replication</name>
????? <value>1</value>
?? </property>
?? <property>
????? <name>dfs.namenode.name.dir</name>
????? <value>file:/hdp/data/dfs/namenode</value>
?? </property>
?? <property>
????? <name>dfs.datanode.data.dir</name>
????? <value>file:/hdp/data/dfs/datanode</value>
?? </property>
</configuration>
3.修改yarn-site.xml文件

<configuration>
<property>
?? <name>yarn.nodemanager.aux-services</name>
?? <value>mapreduce_shuffle</value>
</property>
<property>
?? <name>
????? yarn.nodemanager.aux-services.mapreduce_shuffle.class
?? </name>
?? <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件

<configuration>
??? <property>
?????? <name>mapreduce.framework.name</name>
?????? <value>yarn</value>
??? </property>
</configuration>
第四步:準備hadoop cluster

執行

cd c:/%HADOOP_HOME%/bin
hdfs namenode -format

說明:如果提示JAVA_HOME沒有設置或者設置不對,請安裝jdk,最好將jdk安裝在沒有空格的路徑里,然后設置JAVA_HOME系統變量。

第五步:啟動HDFS

執行

cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步:啟動yarn

執行命令:

cd c:/%HADOOP_HOME%/sbin
start-yarn

第七步:驗證hadoop cluster是否工作

訪問http://localhost:8042和http://localhost:50070

第八步:測試cluster

執行

hadoop dfs -mkdir /test

以及

hadoop dfs -ls /




總結

以上是生活随笔為你收集整理的hadoop入门-在windows上安装,测试hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。