下載源碼進行編譯

在這一篇中，介紹了如何下載源碼進行編譯，編譯好的文件名為spark-2.4.5-bin-2.6.0-cdh5.15.1
對文件進行解壓：tar -xvf spark-2.4.5-bin-2.6.0-cdh5.15.1.tgz -C ~/app

配置環境變量

修改.bashrc文件：

# SPARK_HOME 2.4.5 SPARK_HOME=/home/iie4bu/app/spark-2.4.5-bin-2.6.0-cdh5.15.1PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin:$PATH

運行local模式

使用命令：./spark-shell master local[2]
master 用來指定使用什么模式，這里使用Local模式，[2]表示兩個線程。


說明運行成功！

運行StandAlone模式

復制一個conf/spark-env.sh：

SPARK_MASTER_HOST=manager SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=2g SPARK_WORKER_INSTANCES=1

spark的Standalone模式與Hadoop的HDFS模式類似，是一個Master加多個worker。
復制修改slaves：manager
修改sbin/spark-config.sh，添加JAVA_HOME：

export JAVA_HOME=/home/iie4bu/app/jdk1.8.0_101

運行：sbin/start-all.sh:

輸入jps查看：

可以看到有一個master和一個worker.
瀏覽器訪問ip:8080可以查看

可以看到Alive Workers: 1，因為我們之前設置了SPARK_WORKER_INSTANCES=1。
當我們修改了這個值：SPARK_WORKER_INSTANCES=2時，重啟spark：
sbin/start-all.sh，可以看到有兩個worker

在瀏覽器中可以看到：

看到Alive Worker:2 說明我們的配置生效了。

運行一個Application

運行命令：./spark-shell --master spark://manager:7077

可以看到已經啟動成功，這時查看瀏覽器：

可以看到已經有一個Application在運行了，這個Application的name是spark-shell，并且這個Application占用了4個Cores，和1024M的內存。
由于現在的Cores已經被這個spark-shell用光了，所以當我們再啟動一個spark-shell時：

這時查看瀏覽器：

看到第二次啟動的spark-shell沒有分配到cores，狀態是WAITING，無法運行。
那么能不能設置不把core用光呢？
可以：設置--executor-cores NUM和--executor-memory MEM

總結

以上是生活随笔為你收集整理的spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。