Spark的安裝分為幾種模式，其中一種是本地運(yùn)行模式，只需要在單節(jié)點(diǎn)上解壓即可運(yùn)行，這種模式不需要依賴(lài)Hadoop 環(huán)境。 運(yùn)行 spark-shell 本地模式運(yùn)行spark-shell非常簡(jiǎn)單，只要運(yùn)行以下命令即可，假設(shè)當(dāng)前目錄是$SPARK_HOME $ MASTER=local $ bin/spark-shell MASTER=local就是表明當(dāng)前運(yùn)行在單機(jī)模式。如果一切順利，將看到下面的提示信息： Created spark context.. Spark context available as sc. 這表明spark-shell中已經(jīng)內(nèi)置了Spark context的變量，名稱(chēng)為sc，我們可以直接使用該變量進(jìn)行后續(xù)的操作。 spark-shell 后面設(shè)置 master 參數(shù)，可以支持更多的模式， 我們?cè)趕parkshell中運(yùn)行一下最簡(jiǎn)單的例子，統(tǒng)計(jì)在README.md中含有Spark的行數(shù)有多少，在spark-shell中輸入如下代碼： scala>sc.textFile("README.md").filter(_.contains("Spark")).count 如果你覺(jué)得輸出的日志太多，你可以從模板文件創(chuàng)建 conf/log4j.properties ： $ mv conf/log4j.properties.template conf/log4j.properties 然后修改日志輸出級(jí)別為WARN： log4j.rootCategory=WARN, console 如果你設(shè)置的 log4j 日志等級(jí)為 INFO，則你可以看到這樣的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040，意思是 Spark 啟動(dòng)了一個(gè) web 服務(wù)器，你可以通過(guò)瀏覽器訪問(wèn) http://10.9.4.165:4040來(lái)查看 Spark 的任務(wù)運(yùn)行狀態(tài)等信息。 pyspark 運(yùn)行 bin/pyspark 的輸出為： $ bin/pyspark Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright", "credits" or "license" for more information. Spark assembly has been built with Hive, including Datanucleus jars on classpath Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8 15/03/30 15:19:07 WARN Utils: Your hostname, june-mac resolves to a loopback address: 127.0.0.1; using 10.9.4.165 instead (on interface utun0) 15/03/30 15:19:07 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 15/03/30 15:19:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ / __/ _/ /__ / .__/\_,_/_/ /_/\_\ version 1.3.0 /_/ Using Python version 2.7.6 (default, Sep 9 2014 15:04:36) SparkContext available as sc, HiveContext available as sqlCtx. 你也可以使用 IPython 來(lái)運(yùn)行 Spark： IPYTHON=1 ./bin/pyspark 如果要使用 IPython NoteBook，則運(yùn)行： IPYTHON_OPTS="notebook" ./bin/pyspark 從日志可以看到，不管是 bin/pyspark 還是 bin/spark-shell，他們都有兩個(gè)內(nèi)置的變量：sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表著 Spark 的上下文，通過(guò)該變量可以執(zhí)行 Spark 的一些操作，而 sqlCtx 代表著 HiveContext 的上下文。 spark-submit 在Spark1.0之后提供了一個(gè)統(tǒng)一的腳本spark-submit來(lái)提交任務(wù)。 對(duì)于 python 程序，我們可以直接使用 spark-submit： $ mkdir -p /usr/lib/spark/examples/python$ tar zxvf /usr/lib/spark/lib/python.tar.gz -C /usr/lib/spark/examples/python$ ./bin/spark-submit examples/python/pi.py 10 對(duì)于 Java 程序，我們需要先編譯代碼然后打包運(yùn)行： $ spark-submit --class "SimpleApp" --master local[4] simple-project-1.0.jar Spark 運(yùn)行模式 Spark 的運(yùn)行模式多種多樣、靈活多變，部署在單機(jī)上時(shí)，既可以用本地模式運(yùn)行，也可以用偽分布式模式運(yùn)行，而當(dāng)以分布式集群的方式部署時(shí)，也有眾多的運(yùn)行模式可以供選擇，這取決于集群的實(shí)際情況，底層的資源調(diào)度既可以依賴(lài)于外部的資源調(diào)度框架，也可以使用 Spark 內(nèi)建的 Standalone 模式。對(duì)于外部資源調(diào)度框架的支持，目前的實(shí)現(xiàn)包括相對(duì)穩(wěn)定的 Mesos 模式，以及還在持續(xù)開(kāi)發(fā)更新中的 Hadoop YARN 模式。 在實(shí)際應(yīng)用中，Spark 應(yīng)用程序的運(yùn)行模式取決于傳遞給 SparkContext 的 MASTER 環(huán)境變量的值，個(gè)別模式還需要依賴(lài)輔助的程序接口來(lái)配合使用，目前所支持的 MASTER 環(huán)境變量由特定的字符串或 URL 所組成。例如： Local[N]：本地模式，使用 N 個(gè)線程。 Local Cluster[Worker,core,Memory]：偽分布式模式，可以配置所需要啟動(dòng)的虛擬工作節(jié)點(diǎn)的數(shù)量，以及每個(gè)工作節(jié)點(diǎn)所管理的 CPU 數(shù)量和內(nèi)存尺寸。 Spark://hostname:port:Standalone 模式，需要部署 Spark 到相關(guān)節(jié)點(diǎn)，URL 為 Spark Master 主機(jī)地址和端口。 Mesos://hostname:port:Mesos 模式，需要部署 Spark 和 Mesos 到相關(guān)節(jié)點(diǎn)，URL 為 Mesos 主機(jī)地址和端口。 YARN standalone/Yarn cluster:YARN 模式一，主程序邏輯和任務(wù)都運(yùn)行在 YARN 集群中。 YARN client:YARN 模式二，主程序邏輯運(yùn)行在本地，具體任務(wù)運(yùn)行在 YARN 集群中。 運(yùn)行 Spark 通過(guò)命令行運(yùn)行 Spark ，有兩種方式：bin/pyspark 和 bin/spark-shell。 運(yùn)行 bin/spark-shell 輸出的日志如下： $ ./bin/spark-shell --master local 你可以從模板文件創(chuàng)建 conf/log4j.properties ，然后修改日志輸出級(jí)別： mv conf/log4j.properties.template conf/log4j.properties 修改 log4j.rootCategory 的等級(jí)為輸出 WARN 級(jí)別的日志： log4j.rootCategory=WARN, console 如果你設(shè)置的 log4j 日志等級(jí)為 INFO，則你可以看到這樣的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040 ，意思是 Spark 啟動(dòng)了一個(gè) web 服務(wù)器，你可以通過(guò)瀏覽器訪問(wèn) http://10.9.4.165:4040 來(lái)查看 Spark 的任務(wù)運(yùn)行狀態(tài)。 從日志可以看到，不管是 bin/pyspark 還是 bin/spark-shell，他們都有兩個(gè)內(nèi)置的變量：sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表著 Spark 的上下文，通過(guò)該變量可以執(zhí)行 Spark 的一些操作，而 sqlCtx 代表著 HiveContext 的上下文。

“答案來(lái)源于網(wǎng)絡(luò)，供您參考” 希望以上信息可以幫到您！

總結(jié)

以上是生活随笔為你收集整理的启动ipython内核发生错误_ipython3启动的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。