#-----------------------------環境如下----------------------------------------------------

臺式機hostname:Desktop

筆記本hostname:Laptop

#---------------------------------------------------------------------------------

臺式機jps:

13698 JobHistoryServer
11043 HistoryServer
22436 ExecutorLauncher
10789 Master
8392 NameNode
18602 SparkSubmit
10954 Worker
8571 DataNode
8795 SecondaryNameNode
17275 ResourceManager
24140 Jps
17550 NodeManager

筆記本jps

17668 DataNode
24279 Worker
1149 Jps
909 CoarseGrainedExecutorBackend
910 CoarseGrainedExecutorBackend
28991 NodeManager

注意首先確保上面加粗的全部啟動，非加粗的有些是提交任務后出現的，在啟動檢查這一部分可以忽略

#---------------------------------------------------------------------------------

問題如下:

啟動集群log中沒有報錯，

啟動集群log中沒有報錯，

提交spark任務沒有報錯。

但是web UI只有Desktop在工作，Laptop不工作，這是咋回事呢？

#--------------------------------------------------------------------------------

經過網友的指點:

打開master:8088/cluster/scheduler,下面的圖形不準確哈，看下綠條是否是100%了，

如果是的話，表明資源耗盡,解決方案:

$HADOOP_HOME/etc/hadoop/yarn-site.xml中

<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1500</value> </property>

上面這個綠色進度條所表示的隊列的總長度是Memory Total

綠色進度條所表示的每個節點占據的內存可以在http://master:8088/cluster/nodes中看到,如下:

當上圖中的Desktop(master)超過Memory Total時，就會發生"所有節點都啟動，但是只有一個節點實際參與計算"的現象。

同理可以擴展到:

當上圖中的少量節點的Mem Used之和超過Memory Total時，就會發生"所有節點都啟動，但是只有部分節點實際參與計算"的現象。

?

Reference:

[1]Yarn的WEB UI的詳細說明

總結

以上是生活随笔為你收集整理的spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。