1. 下載spark安裝包
下載地址spark官網：http://spark.apache.org/downloads.html
這里我們使用?spark-2.0.2-bin-hadoop2.7版本.

2. 規劃安裝目錄
/opt/bigdata

3 .解壓安裝包
tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

4. 重命名目錄
mv spark-2.0.2-bin-hadoop2.7 spark

5. 修改配置文件
配置文件目錄在 /opt/bigdata/spark/conf
vi spark-env.sh 修改文件(先把spark-env.sh.template重命名為spark-env.sh)

#配置java環境變量
export JAVA_HOME=/export/server/jdk1.8.0_65
#指定spark老大Master的IP
export SPARK_MASTER_HOST=node1
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
vi slaves 修改文件(先把slaves.template重命名為slaves)
hdp-node-02
hdp-node-03

6 .拷貝配置到其他主機
通過scp 命令將spark的安裝目錄拷貝到其他機器上
scp -r /opt/bigdata/spark hdp-node-02:/opt/bigdata
scp -r /opt/bigdata/spark hdp-node-03:/opt/bigdata

7. 配置spark環境變量
將spark添加到環境變量,添加以下內容到 /etc/profile
export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin
注意最后 source /etc/profile 刷新配置
#啟動spark
#在主節點上啟動spark
/opt/bigdata/spark/sbin/start-all.sh

8. 停止spark
#在主節點上停止spark集群
/opt/bigdata/spark/sbin/stop-all.sh

9 .spark的web界面
正常啟動spark集群后，可以通過訪問 http://hdp-node-01:8080,查看spark的web界面，查看相關信息。

轉載于:https://www.cnblogs.com/chengwentan/p/10056995.html

總結

以上是生活随笔為你收集整理的Spark集群部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。