Spark内核源码学习(暂未学完)
生活随笔
收集整理的這篇文章主要介紹了
Spark内核源码学习(暂未学完)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1) 回顧
1.1 Spark通用運行流程概述
在submit任務條件是需要指定executo個數,executor-CUP個數,可以提高并行度。
什么是并行,什么是并發?
并發:假如有多個任務task,并行是在一個cup中,多個task輪流執行,一個cpu中不可能一起執行,但是我們看到的幾乎是同時執行
并行:多個cpu一起執行不同任務,任務間叫做并行執行
什么是RPC?
兩臺不同的機器的進程進行交互,就叫RPC
RPC怎么進行交互的?
圖中客戶端想要請求B,來執行PIC,但是不能直接請求,客戶端只能請求A, NodeA的runPic是接口并沒有實現,通過動態代理把接口實現,用socket來網絡通信,B接收到A的通信執行runPic,B中runPic是實現類,執行PIC
總結
以上是生活随笔為你收集整理的Spark内核源码学习(暂未学完)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 放榜!2022江西高考成绩已出:查询方式
- 下一篇: Wayland 显示服务器,waylan