Spark任務提交后是如何完成提交過程的？源碼解析！

我們熟知的提交命令：

spark-submit?-v?--class?xxx??--master?spark://xxx7077?....

然后我們vi?spark-submit.

看到他實際上啟動的是SparkSubmit的類。

然后我們來到源碼中找到SparkSubmit，進行分析。

剛進入類中，你就會發現：

我們說spark的四種運行模式，就是他們。

既然SparkSubmit能運行任務，那么他應該能啟動一個屬于自己的進程，也就是說他會有自己的mian方法。

果不其然：

在對象SparkSubmit中有個main方法，實例化一個SparkSubmitArguments類，調用該類的Submit方法。

在submit中首先引用了prepareSubmitEnvironment方法，見名知意，準備提交的環境，點進去：

在submit()方法中先調用了prepareSubmitEnvironment()方法，再調用了dorunMain()方法。

看你選擇那種運行環境，

【注】后面代碼還有各種信息，這里沒有全部截出來。自行查閱

然后回到submit方法，點擊runMain，進入runmain方法，往下找

你會發現我們常說的App

點擊SparkApplication?

接下來，找一下SparkApplication的實現類ClientApp類。當調用app.start()時，實際上調用的是ClientApp的start()方法。
在start()方法中，有個很重要的類ClientEndPoint。這個類是用于把消息發送給Driver的代理，很重要。跟蹤進去。

ClientEndpoint類

先實例化一個Command類，再實例化一個DriverDescription類。最后提交請求給master，請求注冊driver。【ClientEndpoint類】

至此：spark的submit過程算是結束了

---

總結：

總結

以上是生活随笔為你收集整理的Spark任务提交后是如何完成提交过程的？源码解析！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。