升級spark后出現[1]中的報錯

官方論壇[1]中說是集群的spark版本和master的spark版本不一致。

但是其實我的解決方案是:

spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar里面的jars依然是老版本的spark的jars.

更新為新版本的spark的jars以后該報錯問題消失

?

Reference:

[1]https://community.cloudera.com/t5/Support-Questions/Connecting-to-remote-spark-cluster-fails/m-p/269437

?

總結

以上是生活随笔為你收集整理的Unknown/unsupported param List(--dist-cache-conf的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。