run spark pi

現在，許多Spark應用程序已成為遺留應用程序，很難在本地進行增強，測試和運行。

Spark具有很好的測試支持，但仍有許多Spark應用程序不可測試。

當您嘗試運行一些舊的Spark應用程序時，我將分享一個常見錯誤。

Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configurationat org.apache.spark.SparkContext.<init>(SparkContext.scala:376)at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509)at org.apache.spark.sql.SparkSession$Builder$anonfun$6.apply(SparkSession.scala:909)at org.apache.spark.sql.SparkSession$Builder$anonfun$6.apply(SparkSession.scala:901)at scala.Option.getOrElse(Option.scala:121)

當您看到這樣的錯誤時，您有兩種選擇：

–忘了它無法在本地運行，并繼續在這種挫折中工作

–修復它以便在本地運行，并向您的團隊展示《 童子軍規則》的示例

我將展示一個非常簡單的模式，它將使您擺脫這種挫敗感。

def main(args: Array[String]): Unit = {val localRun = SparkContextBuilder.isLocalSparkval sparkSession = SparkContextBuilder.newSparkSession(localRun, "Happy Local Spark")val numbers = sparkSession.sparkContext.parallelize(Range.apply(1, 1000))val total = numbers.sum()println(s"Total Value ${total}")}

此代碼使用isLocalSpark函數來決定如何處理本地模式。 您可以使用任何技術來做出決定，例如env參數或命令行參數或其他任何方法。

一旦知道它在本地運行，就可以基于它創建spark上下文。

現在，此代碼可以在本地運行，也可以通過Spark-Submit運行。

快樂的火花測試。

此博客中使用的代碼可在@runlocal repo中獲得

翻譯自: https://www.javacodegeeks.com/2019/01/spark-run-local-design-pattern.html

run spark pi

總結

以上是生活随笔為你收集整理的run spark pi_Spark Run本地设计模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。