SparkUI

• SparkUI界面介紹

可以指定提交Application的名稱

./spark-shell --master ?spark://henu1:7077 --name myapp

• 配置historyServer
• 臨時配置，對本次提交的應用程序起作用

./spark-shell --master spark://node1:7077 --name myapp1 --conf spark.eventLog.enabled=true ?--conf spark.eventLog.dir=hdfs://node1:9000/spark/test

停止程序，在Web Ui中Completed Applications對應的ApplicationID中能查看history。

• spark-default.conf配置文件中配置HistoryServer，對所有提交的Application都起作用

在客戶端節點，進入../spark-1.6.0/conf/?spark-defaults.conf最后加入:

//開啟記錄事件日志的功能 spark.eventLog.enabled ??????????true //設置事件日志存儲的目錄 spark.eventLog.dir ???????????????????hdfs://node1:9000/spark/test //設置HistoryServer加載事件日志的位置 spark.history.fs.logDirectory ??hdfs://node1:9000/spark/test //日志優化選項,壓縮日志 spark.eventLog.compress?????????true

啟動HistoryServer：

./start-history-server.sh

訪問HistoryServer：node4:18080,之后所有提交的應用程序運行狀況都會被記錄。

---

---

?

Master HA

• Master的高可用原理

Standalone集群只有一個Master，如果Master掛了就無法提交應用程序，需要給Master進行高可用配置，Master的高可用可以使用fileSystem(文件系統)和zookeeper（分布式協調服務）。

fileSystem只有存儲功能，可以存儲Master的元數據信息，用fileSystem搭建的Master高可用，在Master失敗時，需要我們手動啟動另外的備用Master，這種方式不推薦使用。

zookeeper有選舉和存儲功能，可以存儲Master的元素據信息，使用zookeeper搭建的Master高可用，當Master掛掉時，備用的Master會自動切換，推薦使用這種方式搭建Master的HA。

?

• Master高可用搭建

• 在Spark Master節點上配置主Master，配置spark-env.sh

export SPARK_DAEMON_JAVA_OPTS=" -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node3:2181,node4:2181,node5:2181 -Dspark.deploy.zookeeper.dir=/sparkmaster0821"

?

• 發送到其他worker節點上

? ? ? ?

?

?

• 找一臺節點（非主Master節點）配置備用 Master,修改spark-env.sh配置節點上的MasterIP

? ? ? ? ? ? ?

?

• 啟動集群之前啟動zookeeper集群：

../zkServer.sh start

• 啟動spark Standalone集群，啟動備用Master
• 打開主Master和備用Master WebUI頁面，觀察狀態。

• 注意點

• 主備切換過程中不能提交Application。
• 主備切換過程中不影響已經在集群中運行的Application。因為Spark是粗粒度資源調度。

• 測試驗證

提交SparkPi程序，kill主Master觀察現象。

./spark-submit --master spark://node1:7077,node2:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

總結

以上是生活随笔為你收集整理的Spark _16 _SparkUIMaster HA的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。