初始環(huán)境：OS X?10.10.5

準備：boot2docker

進入boot2docker后安裝?docker-spark ?地址：?https://github.com/sequenceiq/docker-spark?里面有很詳細的介紹

我啟動這個鏡像的命令是

docker run -it -p 8088:8088 -p 8080:8080 -p 9000:9000 -p 50070:50070 -p 8042:8042 -p 7077:7077 -p 4040:4040 -h sandbox sequenceiq/spark bash

還沒大整明白，端口映射比較多

然后進入到下面的目錄里

cd /usr/local/spark/examples/src/main/java/org/apache/spark/examples/

可以看到經(jīng)典的JavaWordCount.java 的代碼

我們在idea中建立一個JAVA的maven工程，只有一個依賴如下

org.apache.spark

spark-core_2.10

1.6.0

將上面的代碼JavaWordCount代碼復制出來

打包前有一個地方需要注意下，勾選紅框

然后在out目錄下把跟module同名的jar文件上傳到docker-spark中

準備測試文件：

隨便建一個文本文件

然后上傳到hdfs中

先創(chuàng)建一個目錄

hdfs dfs -mkdir testdata

然后上傳測試文件

hdfs dfs -put 1.txt /user/root/testdata

我們使用單機Spark Standalone Mode的方式來運行

進入

/usr/local/spark-1.6.0-bin-hadoop2.6/sbin

啟動master

./start-master.sh

啟動slave

./start-slave.sh sandbox:7077

準備就緒，進入到上傳的jar文件目錄下運行

spark-submit --master spark://sandbox:7077 --name WordCountByDH --class com.dh.WordCount --executor-memory 1G --total-executor-cores 2 wc.jar /user/root/testdata/1.txt

這樣你就能看到運行的結果了

問題：再idea下運行是遇到下面這個問題,有幾個內(nèi)部類找不到了，還沒解決：

總結

以上是生活随笔為你收集整理的java list wordcount,初试spark java WordCount的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。