Spark是獨(dú)立的，所以集群安裝的時(shí)候，不像hive，hbase等需要先安裝hadoop，除非文件保存在hadoop上，才需要安裝hadoop集群。

如果虛擬機(jī)安裝，點(diǎn)擊閱讀推薦配置

前提環(huán)境：

1、安裝了JDK1.7及以上版本的Linux機(jī)器

2、各臺機(jī)器間SSH免密碼登錄已配置。

3、各臺Linux防火墻已關(guān)閉，時(shí)間已同步。

SSH配置教程

時(shí)間同步教程

步驟：

1、下載spark安裝包

2、解壓

3、修改spark-env.sh

4、修改 slaves

5、scp -r ?到其他節(jié)點(diǎn)

6、start-all.sh 啟動

7、瀏覽器查看

每步詳情

1、下載spark安裝包

http://spark.apache.org/downloads.html

選擇的版本的時(shí)候注意安裝的hadoop版本，選擇相應(yīng)的版本

2、解壓

略

3、修改spark-env.sh

在后面加入

export JAVA_HOME=/jdk1.8.0_73
export SPARK_MASTER_HOST=nbdo1
export SPARK_MASTER_PORT=7077

如果安裝了hadoop，可以配置下

export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop

export SPARK_WORKER_CORES=3 ? ? //每個(gè)Worker使用的CPU核數(shù)
export SPARK_WORKER_INSTANCES=2 ? //每個(gè)Slave中啟動幾個(gè)Worker實(shí)例
export SPARK_WORKER_MEMORY=1G ? ?//每個(gè)Worker使用多大的內(nèi)存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口號
export SPARK_EXECUTOR_CORES=1 ? ? ? //每個(gè)Executor使用使用的核數(shù)
export SPARK_EXECUTOR_MEMORY=1G ? ? //每個(gè)Executor使用的內(nèi)存

每臺服務(wù)器上，啟動2個(gè)worker實(shí)例，每個(gè)worker用3個(gè)cpu核心，1GB內(nèi)存

worker實(shí)例數(shù)：機(jī)器數(shù)*每臺機(jī)器上的worker實(shí)例數(shù) ? ?

4、修改 slaves

nbdo2

nbdo3

（我有三臺測試機(jī)，nbdo1,nbdo2,nbdo3。

nbdo1作為了master了）

5、scp -r ?到其他節(jié)點(diǎn)

略

6、start-all.sh 啟動

在master節(jié)點(diǎn)上，進(jìn)入spark安裝目錄的sbin下

[hadoop@nbdo1 sbin]$ ./start-all.sh?

（不要直接輸入 start-all.sh，hadoop啟動腳本也是start-all.sh）

7、瀏覽器查看

ip地址或域名:8080端口訪問

http://nbdo1:8080/

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Spark集群安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。