初始環(huán)境：OS X?10.10.5

準(zhǔn)備：boot2docker

進(jìn)入boot2docker后安裝?docker-spark ?地址：?https://github.com/sequenceiq/docker-spark?里面有很詳細(xì)的介紹

我啟動(dòng)這個(gè)鏡像的命令是

docker run -it -p 8088:8088 -p 8080:8080 -p 9000:9000 -p 50070:50070 -p 8042:8042 -p 7077:7077 -p 4040:4040 -h sandbox sequenceiq/spark bash

還沒(méi)大整明白，端口映射比較多

然后進(jìn)入到下面的目錄里

cd /usr/local/spark/examples/src/main/java/org/apache/spark/examples/

可以看到經(jīng)典的JavaWordCount.java 的代碼

我們?cè)趇dea中建立一個(gè)JAVA的maven工程，只有一個(gè)依賴如下

org.apache.spark

spark-core_2.10

1.6.0

將上面的代碼JavaWordCount代碼復(fù)制出來(lái)

打包前有一個(gè)地方需要注意下，勾選紅框

然后在out目錄下把跟module同名的jar文件上傳到docker-spark中

準(zhǔn)備測(cè)試文件：

隨便建一個(gè)文本文件

然后上傳到hdfs中

先創(chuàng)建一個(gè)目錄

hdfs dfs -mkdir testdata

然后上傳測(cè)試文件

hdfs dfs -put 1.txt /user/root/testdata

我們使用單機(jī)Spark Standalone Mode的方式來(lái)運(yùn)行

進(jìn)入

/usr/local/spark-1.6.0-bin-hadoop2.6/sbin

啟動(dòng)master

./start-master.sh

啟動(dòng)slave

./start-slave.sh sandbox:7077

準(zhǔn)備就緒，進(jìn)入到上傳的jar文件目錄下運(yùn)行

spark-submit --master spark://sandbox:7077 --name WordCountByDH --class com.dh.WordCount --executor-memory 1G --total-executor-cores 2 wc.jar /user/root/testdata/1.txt

這樣你就能看到運(yùn)行的結(jié)果了

問(wèn)題：再idea下運(yùn)行是遇到下面這個(gè)問(wèn)題,有幾個(gè)內(nèi)部類找不到了，還沒(méi)解決：

總結(jié)

以上是生活随笔為你收集整理的java list wordcount,初试spark java WordCount的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。