2.1 Spark核心概念簡介

驅動器程序通過一個SparkContext對象來訪問Spark。這個對象代表對計算集群的一個連接。shell啟動時已經創建了一個SparkContext對象，是一個叫做sc的變量。一旦有了SparkContext，你就可以用它來創建RDD。要執行這些操作，驅動器程序一般要管理多個執行器（executor）節點。

?

2.2 Spark的獨立應用

我們的Spark除了交互式運行之外，Spark也可以在Java，Scala或Python的獨立程序中被連接使用。這與在shell中使用的主要區別在于你需要自行初始化SparkContext。

Java和Scala

在Java和Scala中，只需要給你的應用添加一個對于spark-core工件的Maven依賴。Maven是一個流行的包管理工具，可以用于任何基于Java的語言，讓你可以連接公共倉庫中的程序庫。

Python

在Python中，你可以把應用寫成Python腳本，但是需要使用Spark中的bin\spark-submit腳本來運行。spark-submit腳本會幫我們引入Python程序的Spark依賴。這個腳本為Spark的PythonAPI配置好了運行環境。

?

一旦完成了應用于Spark的連接，接下來就需要在你的程序中導入Spark包并且創建SparkContext。你可以通過先創建一個SparkConf對象來配置你的應用，然后基于這個SparkConf創建一個SparkContext對象。

1 from pyspark import SparkConf, SparkContext 2 conf = SparkConf().setMaster("local").setAppName("My App") 3 sc = SparkContext(conf = conf)

以上例子展示了創建SparkContext的最基本的方法，你只需要傳遞兩個參數：

集群url：告訴Spark如何連接到集群上，在上面的例子中使用的是local，這個特殊值可以讓Spark運行在單機單線程上而無需連接到集群

應用名：在例子猴子那個我們使用的是my app。當連接到一個集群時，這個值可以幫助你在集群管理器的用戶界面中找到你的應用。

?

關閉Spark：

stop() System.exit(0) sys.exit()

?

轉載于:https://www.cnblogs.com/cyoutetsu/p/6344414.html

總結

以上是生活随笔為你收集整理的（2）Spark下载与入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。