一、集群安裝條件前置

實驗spark安裝在【Hadoop生態(tài)Zookeeper安裝】機器上， 已完成安裝zookeeper、jdk、hadoop和ssh、網(wǎng)絡(luò)等配置環(huán)境等。

spark所依賴的虛擬機和操作系統(tǒng)配置

環(huán)境：ubuntu14 + spark-2.4.4-bin-hadoop2.6 +?apache-zookeeper-3.5.6?+?jdk1.8+ssh

虛擬機：（vmware10）

?

二、standalone安裝環(huán)境設(shè)置

（1）下載spark

spark官網(wǎng)，由于本人使用hadoop2.6，所有下載spark-2.4.4-bin-hadoop2.6。

（2）上傳到linux系統(tǒng)解壓

tar xvf spark-2.4.4-bin-hadoop2.6.tar.gz #放在統(tǒng)一的軟件目錄下 mv spark-2.4.4-bin-hadoop2.6 software/ #別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4

（3） 配置spark-env.sh

cd ~/spark-2.4.4/conf/ cp spark-env.sh.template spark-env.sh vim spark-env.sh

編輯spark-env.sh添加以下內(nèi)容

#與zk的adminServer端口8080沖突改為8082 SPARK_MASTER_WEBUI_PORT="8082" #單機器work的數(shù)量 SPARK_WORK_INSTANCES="1" #zk選spark主 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zooleeper.dir=/spark"export JAVA_HOME=/home/mk/jdk1.8

（4）配置slaves

cd ~/spark-2.4.4/conf/ cp slaves.template slaves vim slaves

?編輯slaves添加以下內(nèi)容

hadoop01 hadoop02 hadoop03

（5）復(fù)制到hadoop02、hadoop03

scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop02:/home/mk/software/ scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop03:/home/mk/software/#hadoop02機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4#hadoop03機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4

?

三、啟動spark

（1）啟動zookeeper

hadoop01、hadoop02、hadoop03分別啟動zk?

~/software/apache-zookeeper-3.5.6-bin/bin/zkServer.sh ?start

（2）啟動spark master

hadoop01啟動master

~/spark-2.4.4/sbin/start-master.sh

?

hadoop02啟動master

hadoop03啟動master

?

master啟動成功。

sparkUI瀏覽器進行訪問http://hadoop01:8080/

（2）在集群主master啟動worker

注意：一定要在主節(jié)點上啟動worker，否則worker不能注冊到主節(jié)點。

應(yīng)該在啟動第一個master節(jié)點的時候使用start-all.sh代替start-master.sh+start-slaves.sh，避免worker在非主節(jié)點啟動注冊不上

hadoop01檢查

hadoop02檢查

hadoop03檢查

?

（3）運行spark計算PI例子

~/spark-2.4.4/bin/run-example --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 SparkPi

?

Pi is roughly 3.1402157010785055

（4）停止hadoop01 master和worker檢查主節(jié)點切換

#hadoop01停止master和worker ~/software/spark-2.4.4-bin-hadoop2.6/sbin/stop-master.sh ~/software/spark-2.4.4-bin-hadoop2.6/sbin/stop-slave.sh#hadoop03監(jiān)聽主節(jié)點切換日志 tail -f /home/mk/software/spark-2.4.4-bin-hadoop2.6/logs/spark-mk-org.apache.spark.deploy.worker.Worker-1-hadoop03.out

（5）在hadoop01重新執(zhí)行計算PI

spark-2.4.4/bin/run-example --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 SparkPi

?

（6）關(guān)閉spark

#主節(jié)點執(zhí)行 ~/spark-2.4.4/sbin/stop-all.sh #或者 ~/spark-2.4.4/sbin/stop-master.sh ~/spark-2.4.4/sbin/stop-slaves.sh #其他master節(jié)點執(zhí)行 ~/spark-2.4.4/sbin/stop-master.sh

?

總結(jié)

以上是生活随笔為你收集整理的Spark入门（二）多主standalone安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。