先說一下master啟動后發生了什么？

---

---

---

---

?

• Spark資源調度和任務調度的流程：

啟動集群后，Worker節點會向Master節點匯報資源情況，Master掌握了集群資源情況。

當Spark提交一個Application后，根據RDD之間的依賴關系將Application形成一個DAG有向無環圖。

任務提交后，Spark會在Driver端創建兩個對象：DAGScheduler和TaskScheduler，DAGScheduler是任務調度的高層調度器，是一個對象。DAGScheduler的主要作用就是將DAG根據RDD之間的寬窄依賴關系劃分為一個個的Stage，然后將這些Stage以TaskSet的形式提交給TaskScheduler（TaskScheduler是任務調度的低層調度器，這里TaskSet其實就是一個集合，里面封裝的就是一個個的task任務,也就是stage中的并行度task任務），TaskSchedule會遍歷TaskSet集合，拿到每個task后會將task發送到計算節點Executor中去執行（其實就是發送到Executor中的線程池ThreadPool去執行）。

task在Executor線程池中的運行情況會向TaskScheduler反饋，當task執行失敗時，則由TaskScheduler負責重試，將task重新發送給Executor去執行，默認重試3次。如果重試3次依然失敗，那么這個task所在的stage就失敗了。stage失敗了則由DAGScheduler來負責重試，重新發送TaskSet到TaskSchdeuler，Stage默認重試4次。如果重試4次以后依然失敗，那么這個job就失敗了。job失敗了，Application就失敗了。

TaskScheduler不僅能重試失敗的task,還會重試straggling（落后，緩慢）task（也就是執行速度比其他task慢太多的task）。如果有運行緩慢的task那么TaskScheduler會啟動一個新的task來與這個運行緩慢的task執行相同的處理邏輯。兩個task哪個先執行完，就以哪個task的執行結果為準。這就是Spark的推測執行機制。在Spark中推測執行默認是關閉的。推測執行可以通過spark.speculation屬性來配置。

注意：

• 對于ETL類型要入數據庫的業務要關閉推測執行機制，這樣就不會有重復的數據入庫。
• 如果遇到數據傾斜的情況，開啟推測執行則有可能導致一直會有task重新啟動處理相同的邏輯，任務可能一直處于處理不完的狀態。

• 圖解Spark資源調度和任務調度的流程

?

• 粗粒度資源申請和細粒度資源申請

• 粗粒度資源申請(Spark）

在Application執行之前，將所有的資源申請完畢，當資源申請成功后，才會進行任務的調度，當所有的task執行完成后，才會釋放這部分資源。

優點：在Application執行之前，所有的資源都申請完畢，每一個task直接使用資源就可以了，不需要task在執行前自己去申請資源，task啟動就快了，task執行快了，stage執行就快了，job就快了，application執行就快了。

缺點：直到最后一個task執行完成才會釋放資源，集群的資源無法充分利用。

• 細粒度資源申請（MapReduce）

Application執行之前不需要先去申請資源，而是直接執行，讓job中的每一個task在執行前自己去申請資源，task執行完成就釋放資源。

優點：集群的資源可以充分利用。

缺點：task自己去申請資源，task啟動變慢，Application的運行就相應的變慢了。

?

總結

以上是生活随笔為你收集整理的Spark _09资源调度和任务调度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。