最終成的配置方法如下：1.安裝好JDK SPARK并設(shè)置環(huán)境變量。 2.安裝號(hào)spyder 3.啟動(dòng)spyder 在 tools ==> pythonpath manager 中加入如下2個(gè)路徑 /opt/spark/python /opt/spark/python/lib 將/opt/spark 替換成自己的spark實(shí)際安裝目錄 4.在SPARK_HOME/python/lib 下會(huì)有一個(gè)類似py4j-0.9-src.zip的壓縮文件 將其解壓到當(dāng)前目錄下（SPARK_HOME/python/lib），否則會(huì)報(bào)錯(cuò) 找不到py4j 重啟spyder后就可以正常使用了。5.在運(yùn)行時(shí)如果報(bào)錯(cuò)sc沒(méi)有被定義。 程序中要加入下面的一段即可。 from pyspark import SparkContext from pyspark import SparkConf conf = SparkConf().setAppName("test") sc = SparkContext(conf=conf)

總結(jié)

以上是生活随笔為你收集整理的如何在Spyder中运行spark的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。