環(huán)境說明

服務器1

主機名：node201

IP：10.0.0.201

OS: centos 7.4

hadoop: NameNode, ResourceManager, SecondaryNameNode?

spark: master

服務器2

主機名：node202

IP：10.0.0.202

OS: centos 7.4

hadoop: DataNode, NodeManager

spark: worker

服務器3

主機名：node203

IP：10.0.0.203

OS: centos 7.4

hadoop: DataNode, NodeManager

spark: worker

關閉防火墻

略

關閉SELinux

略

安裝JDK8

略

安裝Scala

略

配置ssh免密登錄

http://blog.csdn.net/chenhaifeng2016/article/details/78166190

安裝Hadoop 2.7.4

http://blog.csdn.net/chenhaifeng2016/article/details/63688535

安裝Spark 2.2.0

下載hadoop版本對應的軟件包spark-2.2.0-bin-hadoop2.7.tgz

解壓到目錄

/usr/local/src/spark-2.2.0-bin-hadoop2.7

配置/etc/profile

配置/etc/hosts

配置$SPARK_HOME/conf/spark-env.sh

配置$SPARK_HOME/conf/slaves

在節(jié)點node202, node203做同樣的操作，或者把node201的spark打包并拷貝到node202, node203。

啟動spark (啟動之前先運行hadoop)

./sbin/start-all.sh

查看進程

訪問WebUI

--完成--

總結

以上是生活随笔為你收集整理的Spark 2.2.0 集群部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。