一、集群安裝條件前置

實驗spark安裝在【Hadoop入門（二）集群安裝】機器上， 已完成安裝jdk,hadoop和ssh、網絡等配置環境等。

spark所依賴的虛擬機和操作系統配置

環境：ubuntu14 + spark-2.4.4-bin-hadoop2.6+jdk1.8+ssh

虛擬機：（vmware10）

?

二、standalone安裝環境設置

（1）下載spark

spark官網，由于本人使用hadoop2.6，所有下載spark-2.4.4-bin-hadoop2.6。

（2）上傳到linux系統解壓

tar xvf spark-2.4.4-bin-hadoop2.6.tar.gz #放在統一的軟件目錄下 mv spark-2.4.4-bin-hadoop2.6 software/ #別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4

（3） 配置spark-env.sh

注意：文件名空格問題

cd ~/spark-2.4.4/conf/ cp spark-env.sh.template spark-env.sh vim spark-env.sh

編輯spark-env.sh添加以下內容

SPARK_MASTER_PORT="7077" SPARK_MASTER_IP="hadoop01" #單機器work的數量 SPARK_WORK_INSTANCES="1" #spark主 MASTER="spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}"export JAVA_HOME=/home/mk/jdk1.8

（4）配置slaves

cd ~/spark-2.4.4/conf/ cp slaves.template slaves vim slaves

?編輯slaves添加以下內容

hadoop01 hadoop02 hadoop03

?

（5）復制到hadoop02、hadoop03

scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop02:/home/mk/software/ scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop03:/home/mk/software/#hadoop02機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4#hadoop03機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4

?

三、啟動spark

（1）啟動

~/spark-2.4.4/sbin/start-all.sh

?hadoop01檢查

?hadoop02檢查

?hadoop03檢查

啟動成功。

sparkUI瀏覽器進行訪問http://hadoop01:8080/

（2）運行spark計算PI例子

spark-2.4.4/bin/run-example --master spark://hadoop01:7077 SparkPi

Pi is roughly 3.145115725578628
（3）關閉spark

~/spark-2.4.4/sbin/stop-all.sh

?

?

?

?

?

總結

以上是生活随笔為你收集整理的Spark入门（一）单主standalone安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。