一、前述

?本節(jié)講述Spark Master的HA的搭建，為的是防止單點故障。

Spark-UI 的使用介紹，可以更好的監(jiān)控Spark應(yīng)用程序的執(zhí)行。

二、具體細節(jié)

1、Master HA

??????? 1、Master的高可用原理

???????????? ?? Standalone集群只有一個Master，如果Master掛了就無法提交應(yīng)用程序，需要給Master進行高可用配置，Master的高可用可以使用fileSystem(文件系統(tǒng))和zookeeper（分布式協(xié)調(diào)服務(wù)）。

??????????????? fileSystem只有存儲功能，可以存儲Master的元數(shù)據(jù)信息，用fileSystem搭建的Master高可用，在Master失敗時，需要我們手動啟動另外的備用Master，這種方式不推薦使用。

??????????????? zookeeper有選舉和存儲功能，可以存儲Master的元素據(jù)信息，使用zookeeper搭建的Master高可用，當(dāng)Master掛掉時，備用的Master會自動切換，推薦使用這種方式搭建Master的HA。

????? 2、Master高可用搭建

????????? 1)?在Spark Master節(jié)點上配置主Master，配置spark-env.sh

?????????? 命令如下：-D指明配置

???????? ? export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node02:2181,node03:2181,node04:2181 -Dspark.deploy.zookeeper.dir=/sparkmaster0821

??????????

?????? 2)?發(fā)送到其他worker節(jié)點上

?????????? scp spark-env.sh root@node03:`pwd`

?????? 3)?找一臺節(jié)點（非主Master節(jié)點）配置備用 Master,修改spark-env.sh配置節(jié)點上的MasterIP：

????????

??? 4） 啟動集群之前啟動zookeeper集群

??? 5) 在主節(jié)點上啟動spark Standalone集群：./start-all.sh ? 在從節(jié)點上（node02）啟動備用集群：在saprk的Sbin目錄下啟動備用節(jié)點：./start-master.sh

??? 6)?打開主Master和備用Master WebUI頁面，觀察狀態(tài)。

主master :

?備用Master

?

切換過程中的Master的狀態(tài)：

?

注意：

• 主備切換過程中不能提交Application。
• 主備切換過程中不影響已經(jīng)在集群中運行的Application。因為Spark是粗粒度資源調(diào)，二主要task運行時的通信是和Driver 與Driver無關(guān)。
  

• 提交SparkPi程序應(yīng)指定主備Master?

???????????? ./spark-submit?--master spark://node01:7077,node02:7077?--class org.apache.spark.examples.SparkPi?../lib/spark-examples-1.6.0-hadoop2.6.0.jar?10000

?

2、配置historyServer

?

???????? 1、臨時配置，對本次提交的應(yīng)用程序起作用

????????? ./spark-shell --master spark://node1:7077

??????????? --name myapp1

?????????? --conf spark.eventLog.enabled=true

? ? ? ? ?? --conf spark.eventLog.dir=hdfs://node1:9000/spark/test

????? 停止程序，在Web Ui中Completed Applications對應(yīng)的ApplicationID中能查看history。

?

??? 2、spark-default.conf配置文件中配置HistoryServer，對所有提交的Application都起作用

????????? 在客戶端節(jié)點！！！，進入../spark-1.6.0/conf/?spark-defaults.conf最后加入:

???????? //開啟記錄事件日志的功能

?????? ? spark.eventLog.enabled ??????????true

??????? //設(shè)置事件日志存儲的目錄

???????? spark.eventLog.dir ???????????????????hdfs://node1:9000/spark/test

??????? //設(shè)置HistoryServer加載事件日志的位置

???????? spark.history.fs.logDirectory???hdfs://node1:9000/spark/test

???????? //日志優(yōu)化選項,壓縮日志

???????? spark.eventLog.compress?????????true

?

3、啟動HistoryServer：./start-history-server.sh

????? 訪問HistoryServer：node4:18080,之后所有提交的應(yīng)用程序運行狀況都會被記錄。

????? 4040 Driver-web-UI對應(yīng)端口

????? 8081 Worker對應(yīng)端口

轉(zhuǎn)載于:https://www.cnblogs.com/LHWorldBlog/p/8424882.html

總結(jié)

以上是生活随笔為你收集整理的【Spark篇】---Spark中Master-HA和historyServer的搭建和应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。