日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

hadoop入门-在windows上安装,测试hadoop

發布時間:2025/3/21 windows 41 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop入门-在windows上安装,测试hadoop 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

上一篇簡單敘述了怎么樣在windows上編譯hadoop,接著上一篇,這篇敘述怎么樣安裝hadoop并進行簡單的驗證安裝是否正確。編譯的機器與安裝的機器分開。

我編譯的機器是windows7,安裝的機器是windows 2008 r2.

第一步:編譯完之后,會在target目錄下生成hadoop-2.2.0.tar.gz文件,將該文件解壓到一個目錄下面,然后將整個目錄拷貝到目標機器上,盡量選擇簡單的目錄,比如e:\hd

第二步:添加HADOOP_HOME到系統環境變量里,值為e:\hd.并將%HADOOP_HOME%\bin 添加到path里面。

第三步:配置hadoop

1.修改core_site.xml文件

<configuration>
?? <property>
????? <name>fs.defaultFS</name>
????? <value>hdfs://localhost:9000</value>
?? </property>
</configuration>

2.修改hdfs-site.xml文件

<configuration>
?? <property>
????? <name>dfs.replication</name>
????? <value>1</value>
?? </property>
?? <property>
????? <name>dfs.namenode.name.dir</name>
????? <value>file:/hdp/data/dfs/namenode</value>
?? </property>
?? <property>
????? <name>dfs.datanode.data.dir</name>
????? <value>file:/hdp/data/dfs/datanode</value>
?? </property>
</configuration>
3.修改yarn-site.xml文件

<configuration>
<property>
?? <name>yarn.nodemanager.aux-services</name>
?? <value>mapreduce_shuffle</value>
</property>
<property>
?? <name>
????? yarn.nodemanager.aux-services.mapreduce_shuffle.class
?? </name>
?? <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件

<configuration>
??? <property>
?????? <name>mapreduce.framework.name</name>
?????? <value>yarn</value>
??? </property>
</configuration>
第四步:準備hadoop cluster

執行

cd c:/%HADOOP_HOME%/bin
hdfs namenode -format

說明:如果提示JAVA_HOME沒有設置或者設置不對,請安裝jdk,最好將jdk安裝在沒有空格的路徑里,然后設置JAVA_HOME系統變量。

第五步:啟動HDFS

執行

cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步:啟動yarn

執行命令:

cd c:/%HADOOP_HOME%/sbin
start-yarn

第七步:驗證hadoop cluster是否工作

訪問http://localhost:8042和http://localhost:50070

第八步:測試cluster

執行

hadoop dfs -mkdir /test

以及

hadoop dfs -ls /




總結

以上是生活随笔為你收集整理的hadoop入门-在windows上安装,测试hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。