Spark入门(一)单主standalone安装
生活随笔
收集整理的這篇文章主要介紹了
Spark入门(一)单主standalone安装
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、集群安裝條件前置
實驗spark安裝在【Hadoop入門(二)集群安裝】機器上, 已完成安裝jdk,hadoop和ssh、網絡等配置環境等。
spark所依賴的虛擬機和操作系統配置
環境:ubuntu14 + spark-2.4.4-bin-hadoop2.6+jdk1.8+ssh
虛擬機:(vmware10)
?
二、standalone安裝環境設置
(1)下載spark
spark官網,由于本人使用hadoop2.6,所有下載spark-2.4.4-bin-hadoop2.6。
(2)上傳到linux系統解壓
tar xvf spark-2.4.4-bin-hadoop2.6.tar.gz #放在統一的軟件目錄下 mv spark-2.4.4-bin-hadoop2.6 software/ #別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4(3) 配置spark-env.sh
注意:文件名空格問題
cd ~/spark-2.4.4/conf/ cp spark-env.sh.template spark-env.sh vim spark-env.sh編輯spark-env.sh添加以下內容
SPARK_MASTER_PORT="7077" SPARK_MASTER_IP="hadoop01" #單機器work的數量 SPARK_WORK_INSTANCES="1" #spark主 MASTER="spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}"export JAVA_HOME=/home/mk/jdk1.8(4)配置slaves
cd ~/spark-2.4.4/conf/ cp slaves.template slaves vim slaves?編輯slaves添加以下內容
hadoop01 hadoop02 hadoop03?
(5)復制到hadoop02、hadoop03
scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop02:/home/mk/software/ scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mk@hadoop03:/home/mk/software/#hadoop02機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4#hadoop03機器別名 ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4?
三、啟動spark
(1)啟動
~/spark-2.4.4/sbin/start-all.sh?hadoop01檢查
?hadoop02檢查
?hadoop03檢查
啟動成功。
sparkUI瀏覽器進行訪問http://hadoop01:8080/
(2)運行spark計算PI例子
spark-2.4.4/bin/run-example --master spark://hadoop01:7077 SparkPiPi is roughly 3.145115725578628
(3)關閉spark
?
?
?
?
?
總結
以上是生活随笔為你收集整理的Spark入门(一)单主standalone安装的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 韬光养晦怎么读 韬光养晦的读法是什么
- 下一篇: Hadoop生态Zookeeper安装