問題背景

spark是以客戶端的方式安裝的，并沒有啟動spark的mesos集群，這時候的spark就相當(dāng)與hive客戶端。

以local模型和yarn-cluster方式提交任務(wù)，都能正確額執(zhí)行，但是一yarn-client方式就卡在ACCEPTED

問題原因

在網(wǎng)上查了資料，都說是資源不夠用，需要調(diào)整yarn.scheduler.capacity.maximum-am-resource-percent從0.1改成0.5，但是我測試數(shù)據(jù)才幾k，集群內(nèi)存128G，所以我直接排除了這個原因

后來想到，只有yarn-client方式失敗，那問題應(yīng)該出來driver端。就查看了一下服務(wù)器的/etc/hosts，發(fā)現(xiàn)diver上有集群其他節(jié)點的IP等信息，但是其他節(jié)點沒有driver配置信息

導(dǎo)致driver能訪問到集群，但是集群其他節(jié)點訪問不了driver

所以local模式可以執(zhí)行

yarn-cluster上可以執(zhí)行，是因為客戶端只要把任務(wù)提交到y(tǒng)arn上，客戶端就沒有用了。

但是yarn-client方式，客戶端是充當(dāng)了driver，driver需要一直和集群有通信，所以接收不到resouceManager的反饋。任務(wù)就一直卡住了

解決辦法：

有兩個方法：

    1、在命令后面加上一個--conf spark.driver.host=$your_ip_address，后面直接填客戶端機器的IP地址就行

spark-submit \

       --master yarn \

       --deploy-mode client \

       --num-executors 2 \

       --executor-memory 1G \

       --executor-cores 1 \

       --conf spark.driver.host=192.168.72.129\

        dmp_broadcast_data_day.py

    2、在集群其他節(jié)點上都把driver服務(wù)器的IP加上去。

總結(jié)

以上是生活随笔為你收集整理的以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。