?

Spark應用程序的配置，用于將各種Spark參數設置為鍵值對。

大多數情況下，將使用新的SparkConf(),創建一個SparkConf對象，該對象將從您的應用程序中設置的任何spark.*的Java系統屬性加載值。 在這種情況下，** 直接在SparkConf對象上設置的參數優先于系統屬性 **。

對于單元測試，您還可以調用新的SparkConf(false)來跳過加載外部設置，并獲得相同的配置，無論系統屬性如何。

此類中的所有setter方法都支持鏈式調用。

?

new SparkConf().setMaster("local").setAppName("My app")

?

SparkConf() //load defaults from system properties and classpathdef getAll: Array[(String, String)] //Get all parameters as a list of pairsdef setAppName(name: String) //Set a name for your application

?

val conf = new SparkConf().setAppName("PRM Training Process").setAll(Configuration.sparkProps)Configuration.sparkProps //?

使用Dataset和DataFrame API編程Spark的入口點。

在預先創建此環境的環境中，使用構建器獲取現有會話

構建器(builder)還可用于創建新會話

?

SparkSession.builder().master("local").appName("My app").config("spark.some.config.option", "some-value").getOrCreate()

?

val spark = SparkSession.builder.config(conf).enableHiveSupport.getOrCreate

?

總結

以上是生活随笔為你收集整理的转：SparkConf 配置的用法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。