上一篇博文已經(jīng)介紹了搭建scala的開(kāi)發(fā)環(huán)境，現(xiàn)在進(jìn)入正題。如何開(kāi)發(fā)我們的第一個(gè)spark程序。

下載spark安裝包，下載地址http://spark.apache.org/downloads.html（因?yàn)殚_(kāi)發(fā)環(huán)境需要引用spark的jar包）

我下載的是spark-2.1.0-bin-hadoop2.6.tgz，因?yàn)槲业膕calaIDE版本是scala-SDK-4.5.0-vfinal-2.11-win32.win32.x86_64.zip

最好，IDE版本和spark版本要匹配，否則，開(kāi)發(fā)程序的時(shí)候，可能會(huì)包引用的jar包錯(cuò)誤等等。

new 一個(gè) scala project，然后new 一個(gè) scala object

代碼如下：

package?com.testimport?org.apache.spark.SparkContext import?org.apache.spark.SparkConf/***?統(tǒng)計(jì)字符出現(xiàn)次數(shù)*/object?WordCount?{def?main(args:?Array[String])?{if?(args.length?<?1)?{System.err.println("Usage:?<file>")System.exit(1)}val?conf?=?new?SparkConf();//創(chuàng)建SparkConf對(duì)象conf.setAppName("Wow,My?First?Spark?Programe");//設(shè)置應(yīng)用程序的名稱，在程序運(yùn)行的監(jiān)conf.setMaster("local")//此時(shí)，程序在本地運(yùn)行，不需要安裝Spark集群val?sc?=?new?SparkContext(conf);//創(chuàng)建SparkContext對(duì)象，通過(guò)傳入SparkConf實(shí)例 //?????val?lines?=?sc.textFile(args(0));val?lines?=?sc.textFile(args(0));val?words?=?lines.flatMap{line?=>?line.split("?")};//對(duì)每一行的字符串進(jìn)行單詞拆val?pairs?=?words.map{word?=>?(word,1)};val?wordCounts?=?pairs.reduceByKey(_+_);//對(duì)相同的Key，進(jìn)行Value的累計(jì)（包括Local和Reducer級(jí)別同時(shí)Reduce）//????val?wordCounts?=?pairs.reduce((x,y)=>(x.));wordCounts.foreach(wordNumberPair?=>?println(wordNumberPair._1?+?"?:?"?+wordNumberPair));//?????line.flatMap(_.split("?")).map((_,?1)).reduceByKey(_+_).collect().foreach(println)sc.stop()}}

3.配置JDK1.8 和引入spark jar包

spark的jar包是 spark安裝包解壓之后jars目錄里面的jar包，可以把這個(gè)目錄下面的所有jar包都引入工程

4.run Configurations,配置運(yùn)行入?yún)?#xff0c;

因?yàn)?這個(gè)代碼是讀入一個(gè)文本，在hadoop文件系統(tǒng)，可以spark-submit的時(shí)候傳入這個(gè)參數(shù)，在windows 本地開(kāi)發(fā)環(huán)境可以在eclipse里面配置這個(gè)參數(shù)，見(jiàn)下面的圖

val?lines?=?sc.textFile(args(0));

4.入?yún)⑽谋炯斑\(yùn)行結(jié)果

入?yún)⑽谋?#xff1a;

run scala Application運(yùn)行結(jié)果

ok,開(kāi)發(fā)環(huán)境搭建完畢。

轉(zhuǎn)載于:https://blog.51cto.com/wongsong/1898452

總結(jié)

以上是生活随笔為你收集整理的搭建scala 开发spark程序环境及实例演示的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。