由于intellij十分消耗內存，

并且在概念上來講，scala導入jar包應該和在集成開發環境中導入jar包是等效的。

所以我想，能否純命令行，不用spark-submit的情況下來運行呢？

折騰了好幾個小時，方案如下。

TestRdd.scala代碼：

import scala.Iteratorimport org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.log4j.Logger import org.apache.log4j.Levelobject TestRdd {def sumOfEveryPartition(input: Iterator[Int]): Int = {var total = 0input.foreach { elem =>total += elem}total}def main(args: Array[String]) {// val conf = new SparkConf().setAppName("Spark Rdd Test")// val spark = new SparkContext(conf)Logger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF)Logger.getRootLogger().setLevel(Level.ERROR) val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")val input = spark.sparkContext.parallelize(List(1, 2, 3, 4, 5, 6), 2)//RDD有6個元素，分成2個partitionval result = input.mapPartitions(partition => Iterator(sumOfEveryPartition(partition)))//partition是傳入的參數，是個list，要求返回也是list，即Iterator(sumOfEveryPartition(partition))result.collect().foreach {println(_)//6 15}spark.stop()} }

運行方法：

scala -classpath $(echo *.jar ~/bigdata/spark-2.3.1-bin-hadoop2.7/jars/*.jar| tr ' ' ':') TestRdd.scala

運行結果：
6
15

?

注意：上面導入了spark本地部署中的所有jars包
?

?

?

總結

以上是生活随笔為你收集整理的命令行中只用scala来运行一个spark应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。