(2)Spark下载与入门
2.1 Spark核心概念簡介
驅動器程序通過一個SparkContext對象來訪問Spark。這個對象代表對計算集群的一個連接。shell啟動時已經創建了一個SparkContext對象,是一個叫做sc的變量。一旦有了SparkContext,你就可以用它來創建RDD。要執行這些操作,驅動器程序一般要管理多個執行器(executor)節點。
?
2.2 Spark的獨立應用
我們的Spark除了交互式運行之外,Spark也可以在Java,Scala或Python的獨立程序中被連接使用。這與在shell中使用的主要區別在于你需要自行初始化SparkContext。
Java和Scala
在Java和Scala中,只需要給你的應用添加一個對于spark-core工件的Maven依賴。Maven是一個流行的包管理工具,可以用于任何基于Java的語言,讓你可以連接公共倉庫中的程序庫。
Python
在Python中,你可以把應用寫成Python腳本,但是需要使用Spark中的bin\spark-submit腳本來運行。spark-submit腳本會幫我們引入Python程序的Spark依賴。這個腳本為Spark的PythonAPI配置好了運行環境。
?
一旦完成了應用于Spark的連接,接下來就需要在你的程序中導入Spark包并且創建SparkContext。你可以通過先創建一個SparkConf對象來配置你的應用,然后基于這個SparkConf創建一個SparkContext對象。
1 from pyspark import SparkConf, SparkContext 2 conf = SparkConf().setMaster("local").setAppName("My App") 3 sc = SparkContext(conf = conf)以上例子展示了創建SparkContext的最基本的方法,你只需要傳遞兩個參數:
集群url:告訴Spark如何連接到集群上,在上面的例子中使用的是local,這個特殊值可以讓Spark運行在單機單線程上而無需連接到集群
應用名:在例子猴子那個我們使用的是my app。當連接到一個集群時,這個值可以幫助你在集群管理器的用戶界面中找到你的應用。
?
關閉Spark:
stop() System.exit(0) sys.exit()?
轉載于:https://www.cnblogs.com/cyoutetsu/p/6344414.html
總結
以上是生活随笔為你收集整理的(2)Spark下载与入门的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 程序员整理的各种不错的工具
- 下一篇: Linux真随机数的生成