spark 每次提交一個作業(yè)，都會劃分成不同的stage，除了最后一個stage（shuffle map task），前邊的stage屬于一種類型（result task）。

spark中的job，內(nèi)部是由具體task構(gòu)成，由于spark的調(diào)度模式根據(jù)寬依賴的模式劃分成不同的stage，而我們從spark獲取結(jié)果，是從最后一個stage中獲取的。

stage內(nèi)部有不同的任務，任務被提交到集群的計算節(jié)點，計算節(jié)點計算邏輯的時候，在excutor中

線程池中的線程中運行，線程會調(diào)用具體的run方法執(zhí)行。

最后一個stage task類型為result類型，之前的所有的類型都為shuffle map task類型。

?

RDD objects：建DAG圖，

DAGschedule：根據(jù)DAG圖，將任務劃分為不同的stage即task

TaskScheduler：cluster 獲取task，并分配給worker和重試失敗的任務。（shuffle map task和result task）

shuffle map task會將stage劃分為不同的buckets。buckets決定這并行度。

worker：執(zhí)行具體的task，兩種taks都包含runtask 方法，方法中執(zhí)行的iterator，iterator中包含cache判斷。（可以在源碼中查看到）

轉(zhuǎn)載于:https://www.cnblogs.com/isenhome/p/5086130.html

總結(jié)

以上是生活随笔為你收集整理的两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。