Big Data computing 下課之后回去試著搭建了一下spark環境，在這里記錄安裝過程中遇到的坑及解決方法和一些待解決的問題。

mac上的python環境：Anaconda for python 2.7。(原來我用的Anaconda for python3.6,但是在用pyspark的過程中會遇到一個不能解決的bug，所以又重新裝了python2.7)

下面是我的配置過程，黑色加粗字體是要在terminal中敲的命令

1. 在spark官網上下載spark文件包

2. 打開terminal

3. 打開下載的spark所在的路徑

cd downloads

4. 解壓壓縮包

tar -zxvf spark-2.1.0-bin-hadoop2.7.tar

5. 把解壓后的文件移動到home路徑下

mv spark-2.1.0-bin-hadoop2.7/~/spark-2.1.0

6. 設置環境變量

nano .bash_profile

o ?在bash profile 里添加下面兩句

export SPARK_PATH=~/spark-2.1.0

export PATH=$SPARK_PATH/bin:$PATH

保存并推出 (command+x)

7. 環境變量會在你下次打開terminal時自動生效，如果想立刻生效，用下面的source命令

source .bash_profile

8.鍵入pyspark看看是不是成功

pyspark

##以上這些步驟如果是python3.6環境中會報TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'

##有人在github上提出了這個問題，不過我沒有看懂是如何解決的。github上關于pyspark＋python3.6

9. 如果想在ipython notebook中使用pyspark，在第六步中bash_profile文件中追加下面三行：

export PYSPARK_DRIVER_PYTHON="ipython"

export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

alias snotebook='$SPARK_PATH/bin/pyspark --masterlocal[2]'

10.?source .bash_profile

11. 在terminal中鍵入pyspark或者snotebook。snotebook 是別名，可以在第九步設置環境變量的過程中任意命名。Local[2] 表示我們為它分配了兩個核。

12.打開了ipython notebook之后可以嘗試下面命令看看spark配置是否成功

sc.parallelize(range(100),8).take(5)

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的spark python3.6_在mac上搭建spark＋ipython环境的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。