SparkContext: Error initializing SparkContext解決方法

Spark在配置高可用集群中，出現報錯
ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused;

這是因為我們配置了Spark日志存儲在HDFS中，但是在開啟Spark集群后，卻沒有打開Hadoop，造成提交任務時報錯。

解決方案：

不再存儲事件日志
找到Spark安裝目錄/conf/spark-defaults.conf文件，如圖所示，注釋掉相應事件日志部分

將事件日志存在本地，而非HDFS中
將上圖中第二行的目錄替換為Linux本地目錄

啟動Hadoop集群（即HDFS服務）
究其出錯原因，還是我們配置了spark日志存儲于HDFS中，但是缺沒有打開HDFS，所以開啟Hadoop集群即可

總結

以上是生活随笔為你收集整理的SparkContext: Error initializing SparkContext解决方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。