1. SparkContext源碼分析

在任何Spark程序中，必須要?jiǎng)?chuàng)建一個(gè)SparkContext，在SparkContext中，最主要的就是創(chuàng)建了TaskScheduler和DAGScheduler，以及SparkUI

... // Create and start the scheduler val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode) // 創(chuàng)建taskScheduler _schedulerBackend = sched _taskScheduler = ts _dagScheduler = new DAGScheduler(this) // 創(chuàng)建DAGScheduler ...// 在創(chuàng)建SparkContext的時(shí)候，會執(zhí)行val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode) private def createTaskScheduler(sc: SparkContext,master: String,deployMode: String): (SchedulerBackend, TaskScheduler) = {import SparkMasterRegex._// When running locally, don't try to re-execute tasks on failure.val MAX_LOCAL_TASK_FAILURES = 1master match { // 匹配master，我們這里主要以Standlone為主，所以，就只看SPARK_REGEX...case SPARK_REGEX(sparkUrl) => // Standlone模式val scheduler = new TaskSchedulerImpl(sc) // 創(chuàng)建TaskSchedulerval masterUrls = sparkUrl.split(",").map("spark://" + _)// 創(chuàng)建StandaloneSchedulerBackendval backend = new StandaloneSchedulerBackend(scheduler, sc, masterUrls) scheduler.initialize(backend) // 初始化taskScheduler, 主要是賦值backend以及根據(jù)調(diào)度方法創(chuàng)建調(diào)度池(backend, scheduler)...}}

圖解如下(其中的SparkDeploySchedulerBackend是1.0的名字，2.0就是StandaloneSchedulerBackend)：

總結(jié)

以上是生活随笔為你收集整理的Spark详解（七）：SparkContext源码分析以及整体作业提交流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。