當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

spark-1.5.2集群安装

發布時間：2025/5/22 编程问答 60 豆豆

生活随笔收集整理的這篇文章主要介紹了 spark-1.5.2集群安装小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

2019獨角獸企業重金招聘Python工程師標準>>>

Spark版本：Spark1.5.2

Scala版本：2.11.7

Spark安裝路徑：/home/hadoop

Scala安裝路徑：/home/hadoop

1.??? 解壓安裝包

[hadoop@hd1 ~]#tar zxvf scala-2.11.7.tgz

[hadoop@hd1 ~]#tar zxvf ?spark-1.5.2-bin-hadoop2.6.tgz

2. 配置環境變量

[root@hd1 ~]#vim /etc/profile

加上以下對應內容：

export JAVA_HOME=/home/yy/jdk1.8

export SCALA_HOME=/home/yy/scala

export SPARK_HOME=/home/yy/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

執行source /etc/profile使配置生效

3.修改spark配置

[hadoop@hd1 ~]cd spark-1.5.2-bin-hadoop2.6/conf

3.1復制模板文：

[hadoop@hd1 conf]#cp spark-env.sh.template?spark-env.sh

[hadoop@hd1 conf]#cp slaves.template slaves

3.2編輯spark-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

export SCALA_HOME=/home/hadoop/scala

export SPARK_MASTER_IP=open1

export SPARK_WORKER_INSTANCES=2

export SPARK_WORKER_MEMORY=6g

export master=spark://hd1:7077

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop

export SPARK_HOME=/home/hadoop/spark-1.5.2

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0

export SPARK_CLASSPATH=/home/hadoop/test/aliopen01/mysql-connector-java-5.1.40-bin.jar:$SPARK_HOME/lib/hbase-client-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-common-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-protocol-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-server-0.98.22-hadoop2.jar:$SPARK_HOME/lib/htrace-core-2.04.jar:$SPARK_HOME/lib/protobuf-java-2.5.0.jar:$SPARK_HOME/lib/guava-12.0.1.jar:$SPARK_HOME/lib/hive-hbase-handler-1.2.1.jar:$SPARK_CLASSPATH

export SPARK_YARN_USER_ENV="CLASSPATH=/home/hadoop/hadoop-2.6.0/etc/hadoop"

? ? ?ps：

????????????spark-shell 后面的參數釋義
????????????????????--executor-memory ? ? ? ?默認1GB 是每個executor占用的內存
????????????????????--driver-memory ? ? ? ? ? ? driver占用的內存，（Driver：一個Spark作業運行時包括一個Driver進程，也是作業的主進程，負責作業的解析、生成Stage并調度Task到Executor上。包括DAGScheduler，TaskScheduler。）
????????????????????--total-executor-cores ? ?全部executor占用的總CPU核數
????????????????????--num-executors ? ? ? ? ? ?這個spark-shell 總共開啟多少個executor（Executor：即真正執行作業的地方，一個集群一般包含多個Executor，每個Executor接收Driver的命令Launch Task，一個Executor可以執行一到多個Task。）
????????????????????--executor-cores ?每個executor使用的cpu核數

3.3編輯slaves

添加上你的對應信息，所有的集群的機器：

hd2

hd3

hd4

hd5

進入spark-1.5.2-bin-hadoop2.6/sbin/目錄，執行：./start-all.sh

（如果沒有設置ssh免密碼登陸，會要求輸入密碼）

這時候jps查看多了個master和worker

表示安裝成功

轉載于:https://my.oschina.net/gywbest/blog/780338