yarn-site.xml

Add the following to etc/hadoop/yarn-site.xml.

yarn.nodemanager.aux-services

mapreduce.shuffle

這里改下：

mapreduce_shuffle

1，建立java Hadoop project的時(shí)候，建立maven project。早pom.xml里面加入對(duì)應(yīng)版本的dependency。 右擊project，選擇 maven build，goals 里面寫(xiě)package，產(chǎn)生jar文件。

2，產(chǎn)生輸入文件：

hadoop fs -put 輸入文件路徑 文件夾

example：

hadoop fs -put $HADOOP_HOME/Hadoop-WordCount/input/ input

hadoop fs -ls input

3， 運(yùn)行java 文件：

hadoop jar jar文件路徑 package名稱.文件名 input文件 輸出文件

example：

hadoop jar $HADOOP_HOME/Hadoop-WordCount/wordcount.jar WordCount input output

4， view output file

hadoop fs -ls output

hadoop fs -cat output/*

如果想要顯示system.out.println 的文件：

Easy way to access the logs is?http://localhost:50030/jobtracker.jsp->click on the completed job->click on map or reduce task->click on tasknumber->task logs->stdout logs.

總結(jié)

以上是生活随笔為你收集整理的hadoop 运行java程序_Hadoop java 程序运行的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。