Spark的安裝分為幾種模式，其中一種是本地運行模式，只需要在單節點上解壓即可運行，這種模式不需要依賴Hadoop 環境。 運行 spark-shell 本地模式運行spark-shell非常簡單，只要運行以下命令即可，假設當前目錄是$SPARK_HOME $ MASTER=local $ bin/spark-shell MASTER=local就是表明當前運行在單機模式。如果一切順利，將看到下面的提示信息： Created spark context.. Spark context available as sc. 這表明spark-shell中已經內置了Spark context的變量，名稱為sc，我們可以直接使用該變量進行后續的操作。 spark-shell 后面設置 master 參數，可以支持更多的模式， 我們在sparkshell中運行一下最簡單的例子，統計在README.md中含有Spark的行數有多少，在spark-shell中輸入如下代碼： scala>sc.textFile("README.md").filter(_.contains("Spark")).count 如果你覺得輸出的日志太多，你可以從模板文件創建 conf/log4j.properties ： $ mv conf/log4j.properties.template conf/log4j.properties 然后修改日志輸出級別為WARN： log4j.rootCategory=WARN, console 如果你設置的 log4j 日志等級為 INFO，則你可以看到這樣的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040，意思是 Spark 啟動了一個 web 服務器，你可以通過瀏覽器訪問 http://10.9.4.165:4040來查看 Spark 的任務運行狀態等信息。 pyspark 運行 bin/pyspark 的輸出為： $ bin/pyspark Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright", "credits" or "license" for more information. Spark assembly has been built with Hive, including Datanucleus jars on classpath Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8 15/03/30 15:19:07 WARN Utils: Your hostname, june-mac resolves to a loopback address: 127.0.0.1; using 10.9.4.165 instead (on interface utun0) 15/03/30 15:19:07 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 15/03/30 15:19:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ / __/ _/ /__ / .__/\_,_/_/ /_/\_\ version 1.3.0 /_/ Using Python version 2.7.6 (default, Sep 9 2014 15:04:36) SparkContext available as sc, HiveContext available as sqlCtx. 你也可以使用 IPython 來運行 Spark： IPYTHON=1 ./bin/pyspark 如果要使用 IPython NoteBook，則運行： IPYTHON_OPTS="notebook" ./bin/pyspark 從日志可以看到，不管是 bin/pyspark 還是 bin/spark-shell，他們都有兩個內置的變量：sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表著 Spark 的上下文，通過該變量可以執行 Spark 的一些操作，而 sqlCtx 代表著 HiveContext 的上下文。 spark-submit 在Spark1.0之后提供了一個統一的腳本spark-submit來提交任務。 對于 python 程序，我們可以直接使用 spark-submit： $ mkdir -p /usr/lib/spark/examples/python$ tar zxvf /usr/lib/spark/lib/python.tar.gz -C /usr/lib/spark/examples/python$ ./bin/spark-submit examples/python/pi.py 10 對于 Java 程序，我們需要先編譯代碼然后打包運行： $ spark-submit --class "SimpleApp" --master local[4] simple-project-1.0.jar Spark 運行模式 Spark 的運行模式多種多樣、靈活多變，部署在單機上時，既可以用本地模式運行，也可以用偽分布式模式運行，而當以分布式集群的方式部署時，也有眾多的運行模式可以供選擇，這取決于集群的實際情況，底層的資源調度既可以依賴于外部的資源調度框架，也可以使用 Spark 內建的 Standalone 模式。對于外部資源調度框架的支持，目前的實現包括相對穩定的 Mesos 模式，以及還在持續開發更新中的 Hadoop YARN 模式。 在實際應用中，Spark 應用程序的運行模式取決于傳遞給 SparkContext 的 MASTER 環境變量的值，個別模式還需要依賴輔助的程序接口來配合使用，目前所支持的 MASTER 環境變量由特定的字符串或 URL 所組成。例如： Local[N]：本地模式，使用 N 個線程。 Local Cluster[Worker,core,Memory]：偽分布式模式，可以配置所需要啟動的虛擬工作節點的數量，以及每個工作節點所管理的 CPU 數量和內存尺寸。 Spark://hostname:port:Standalone 模式，需要部署 Spark 到相關節點，URL 為 Spark Master 主機地址和端口。 Mesos://hostname:port:Mesos 模式，需要部署 Spark 和 Mesos 到相關節點，URL 為 Mesos 主機地址和端口。 YARN standalone/Yarn cluster:YARN 模式一，主程序邏輯和任務都運行在 YARN 集群中。 YARN client:YARN 模式二，主程序邏輯運行在本地，具體任務運行在 YARN 集群中。 運行 Spark 通過命令行運行 Spark ，有兩種方式：bin/pyspark 和 bin/spark-shell。 運行 bin/spark-shell 輸出的日志如下： $ ./bin/spark-shell --master local 你可以從模板文件創建 conf/log4j.properties ，然后修改日志輸出級別： mv conf/log4j.properties.template conf/log4j.properties 修改 log4j.rootCategory 的等級為輸出 WARN 級別的日志： log4j.rootCategory=WARN, console 如果你設置的 log4j 日志等級為 INFO，則你可以看到這樣的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040 ，意思是 Spark 啟動了一個 web 服務器，你可以通過瀏覽器訪問 http://10.9.4.165:4040 來查看 Spark 的任務運行狀態。 從日志可以看到，不管是 bin/pyspark 還是 bin/spark-shell，他們都有兩個內置的變量：sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表著 Spark 的上下文，通過該變量可以執行 Spark 的一些操作，而 sqlCtx 代表著 HiveContext 的上下文。

“答案來源于網絡，供您參考” 希望以上信息可以幫到您！

總結

以上是生活随笔為你收集整理的启动ipython内核发生错误_ipython3启动的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。