Spark之Spark角色介紹及運行模式

---

集群角色

運行模式

---

1. 集群模式

從物理部署層面上來看，Spark主要分為兩種類型的節點，Master節點和Worker節點：

Master節點主要運行集群管理器的中心化部分，所承載的作用是分配Application到Worker節點，維護Worker節點，Driver，Application的狀態。

Worker節點負責具體的業務運行。

從Spark程序運行的層面來看，Spark主要分為驅動器節點和執行器節點。

---

2. 運行模式

Local模式: Local模式就是運行在一臺計算機上的模式，通常就是用于在本機上練手和測試。它可以通過以下集中方式設置master。

local: 所有計算都運行在一個線程當中，沒有任何并行計算，通常我們在本機執行一些測試代碼，或者練手，就用這種模式;

local[K]: 指定使用幾個線程來運行計算，比如local[4]就是運行4個worker線程。通常我們的cpu有幾個core，就指定幾個線程，最大化利用cpu的計算能力;

local[*]: 這種模式直接幫你按照cpu最多cores來設置線程數了。

Standalone模式: 構建一個由Master+Slave構成的Spark集群，Spark運行在集群中。

Yarn模式: Spark客戶端直接連接Yarn；不需要額外構建Spark集群。有yarn-client和yarn-cluster兩種模式，主要區別在于：Driver程序的運行節點。

yarn-client：Driver程序運行在客戶端，適用于交互、調試，希望立即看到app的輸出

yarn-cluster：Driver程序運行在由RM（ResourceManager）啟動的AP（APPMaster）適用于生產環境

Mesos模式:Spark客戶端直接連接Mesos；不需要額外構建Spark集群。國內應用比較少，更多的是運用yarn調度。

總結

以上是生活随笔為你收集整理的Spark之Spark角色介绍及运行模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。