Ubantu下hadoop运行第一个例子wordcount过程
Ubantu12.04下hadoop-1.2.1運(yùn)行第一個(gè)例子wordcount過程，分享一下
將WordCount.java文件放在Hadoop安裝目錄下，并在安裝目錄下創(chuàng)建輸入目錄input，目錄下有輸入文件file1，file2，其中：
file1內(nèi)容：hello world
file2內(nèi)容：hello hadoop
??? hello mapreduce
準(zhǔn)備好之后在命令行輸入運(yùn)行，下面對(duì)執(zhí)行的命令進(jìn)行介紹：
注：在此之前必須啟動(dòng)hadoop的所有服務(wù)。
在啟動(dòng)之前，需要格式化Hadoop的文件系統(tǒng)HDFS ，進(jìn)入Hadoop文件夾。輸入命令：bin/hadoop namenode -format
格式化文件系統(tǒng)，接下來啟動(dòng)Hadoop所有進(jìn)程，輸入命令：bin/start-all.sh(中間無空格)
然后查看是否啟動(dòng)成功，輸入命令：jps
如下所示即可：
wangnan@slave1:~/hadoop-1.2.1$ jps
3866 DataNode
4102 SecondaryNameNode
4192 JobTracker
4430 TaskTracker
8576 Jps
4700 NameNode
（1）在集群上創(chuàng)建輸入文件夾
bin/hadoop fs -mkdir wordcount_input
（2）上傳本地目錄input下前四個(gè)字符的為file的文件到集群上的 input 目錄下：
bin/hadoop fs -put input/file* wordcount_input
（3）編譯WordCount.java程序，將結(jié)果放入當(dāng)前目錄的WordCount目錄下（在此之前首先在hadoop安裝目錄下創(chuàng)建一WordCount個(gè)目錄，即新建文件夾）：
javac -classpath hadoop-core-1.2.1.jar:lib/commons-cli-1.2.jar -d WordCount WordCount.java
（4）將編譯結(jié)果打包jar
首先進(jìn)入hadoop-1.2.1/WordCount/org/apache/hadoop/examples下，也就是進(jìn)入class文件目錄如圖：
??????????????
輸入命令：jar cvf WordCount.jar *.class
（5）在集群上運(yùn)行WordCount程序，以input目錄為輸入目錄，output為輸出目錄：
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount wordcount_input wordcount_output
（6）查看輸出結(jié)果：
bin/hadoop fs -cat wordcount_output/part-r-00000
（7）最后運(yùn)行代碼如下：
hello? 3
world 1
hadoop 1
mapreduce? 1
?
不同機(jī)器可能遇到不同的問題，可以參考一下解決方法：
MapReduce——WordCount問題總結(jié) http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html
bin/hadoop jar hadoop-*-examples.jar wordcount 路徑錯(cuò)誤 ? ? http://blog.csdn.net/jkeven/article/details/7655586
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/wangnan45/p/3407981.html
總結(jié)
以上是生活随笔為你收集整理的Ubantu下hadoop运行第一个例子wordcount过程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
