1） 回顧

1.1 Spark通用運行流程概述
在submit任務條件是需要指定executo個數，executor-CUP個數，可以提高并行度。

什么是并行，什么是并發？
并發：假如有多個任務task，并行是在一個cup中，多個task輪流執行，一個cpu中不可能一起執行，但是我們看到的幾乎是同時執行
并行：多個cpu一起執行不同任務，任務間叫做并行執行


什么是RPC？
兩臺不同的機器的進程進行交互，就叫RPC

RPC怎么進行交互的？
圖中客戶端想要請求B，來執行PIC，但是不能直接請求，客戶端只能請求A， NodeA的runPic是接口并沒有實現，通過動態代理把接口實現，用socket來網絡通信，B接收到A的通信執行runPic，B中runPic是實現類，執行PIC

總結

以上是生活随笔為你收集整理的Spark内核源码学习（暂未学完）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。