1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

package?mydemo import?org.apache.spark.{SparkConf,?SparkContext} object?MyWordContextDemo?{ ??def?main(args:?Array[String]):?Unit?=?{ ????//?創建一個?Config ????val?conf?=?new?SparkConf().setAppName("MyWordContext") ????//?創建?SparkContext?對象 ????val?sc?=?new?SparkContext(conf) ????//?使用sc?對象執行相應的算子 ????sc.textFile(args(0))????????????????????//?從第一個參數獲取文件路徑并打開 ??????.flatMap(_.split("?"))??????????????//?先?map?再壓平 ??????.map((_,?1))????????????????????????//?將單詞和?1?構成元組 ??????.reduceByKey(_?+?_)?????????????????//?根據Key?進行?Reduce，并將?value?累加 ??????.saveAsTextFile(args(1))????????????//?將結果輸出到文件 ????//?停止?SparkContext?對象 ????sc.stop() ??} }

==>?運行程序：

????--->?首先將程序打包成?jar?包

? ? --->?執行以下命令

1	spark-submit?--master?spark://bigdata0:7077?--class?mydemo.MyWordContextDemo?scalawordcontext.jar?hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt

? ? --->?命令解釋：

????????----?spark-submit????????????????????????????????????spark?命令

? ? ????----?--master spark://bigdata0:7077

? ? ????----?--class?????????指定類名

? ? ????----?scalawordcontext.jar????將自己與的程序打成的jar?包

? ? ????----?hdfs://192.168.10.210:9000/out/scala/wordcontext.txt????????指定處理好的數據輸出的文件

本文轉自 菜鳥的征程 51CTO博客，原文鏈接:http://blog.51cto.com/songqinglong/2073794

總結

以上是生活随笔為你收集整理的使用 Scala 写WordContext程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。