Spark的端口總結

Master節點的web端口是8080,work節點的web端口是8081

?

?

?

spark master web ui 默認端口為8080，當系統有其它程序也在使用該接口（比如:Tomcat）時，啟動master時也不會報錯，spark自己會改用其它端口，自動端口號加1,也可以自行設置,修改方法:

1、cd $SPARK_HOME/sbin

2、vi start-master.sh

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口號

fi

8080端口:master WEB端口

?

8081端口:work WEB端口

7077端口:

master通信端口

18080端口:spark歷史服務器端口

相關配置：

conf目錄下

cp spark-defaults.conf.template spark-defaults.conf

編輯spark-defaults.conf這個文件

編輯spark-env.sh文件

使用sbin/start-history-server.sh腳本啟動

啟動日志:

執行spark任務

啟動日志：

?

Web界面

4040端口:

2.3? Spark當前執行的任務頁面查看端口4040（例如：使用spark-shell啟動spark，此時的任務可以在4040端口頁面查看），如果任務結束了4040端口頁面不能訪問

默認是4040，我改配置改了下

?

總結

以上是生活随笔為你收集整理的spark端口实验总结：的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。